常州seo【告诉 Google 不应抓取哪些页面】谷歌官方SEO指南3

- 谷歌官方教程+马慧SEO编辑 - 阅 463

常州seo:SEO圈子里似乎都流传着这样一句话,中文SEO重点做百度,英文SEO重点做Google。小小课堂网认为,无论是百度,还是Google,还是360搜索、搜狗、bing、神马等等搜索引擎,都有着非常多的共性,只是在很少的算法上,会略有不同。

今天,小小课堂网为大家带来的是【告诉 Google 不应抓取哪些页面】谷歌官方SEO指南3。常州seo希望对大家有所帮助。搜索引擎官方教程看的多了,会发现,他们对优质网站的要求似乎都差不多。

视频教程请点击下面链接:

Google SEO搜索引擎优化入门指南视频教程

常州seo

一、Google官方搜索引擎优化 (SEO) 入门指南目录

本站只是该SEO指南11个章节之一,如需查看其它章节,请点击下面链接即可进入官方原始图文教程页面。

连云港seo【预备知识】谷歌官方SEO指南1

扬州seo【帮助 Google 找到您的内容】谷歌官方SEO指南2

常州seo【告诉 Google 不应抓取哪些页面】谷歌官方SEO指南3

镇江seo【帮助 Google和用户了解您的内容】谷歌官方SEO指南4

盐城seo【管理网页在搜索结果中显示效果】谷歌官方SEO指南5

辽宁seo【组织您的网站层次结构】谷歌官方SEO指南6

沈阳seo【优化您的内容】谷歌官方SEO指南7

大连seo【优化您的图片】谷歌官方SEO指南8

鞍山seo【构建适合移动设备网站】谷歌官方SEO指南9

丹东seo【推广您的网站】谷歌官方SEO指南10

福建seo【分析搜索效果和用户行为】谷歌官方SEO指南11

二、本期内容-告诉 Google 不应抓取哪些页面

1、最佳做法

若为非敏感信息,则可以使用 robots.txt 阻止不必要的抓取。

“robots.txt”文件会告诉搜索引擎它们是否可以访问您网站的各个部分并执行抓取。此文件必须命名为“robots.txt”,且应位于网站的根目录下。被 robots.txt 阻止的网页也可能会被抓取,因此您应使用更安全的方法保护敏感网页。

使用 robots.txt 阻止不必要的抓取

您可能不希望网站的某些页面被抓取,因为这些页面显示在搜索引擎的搜索结果中可能对用户无用。如果您希望阻止搜索引擎抓取您的网页,Google Search Console 可提供便捷的 robots.txt 生成器帮助您创建此文件。请注意,如果您的网站使用了子域名,并且您希望 Google 不要抓取特定子域名上的某些网页,那么您必须为该子域名单独创建一个 robots.txt 文件。

2、应避免的做法

不要让 Google 抓取内部搜索结果页。用户不喜欢点击搜索引擎结果后却登录到您网站上的其他搜索结果页。

允许抓取由代理服务器创建的网址。

3、若为敏感信息,则请使用更安全的方法

要阻止用户访问敏感或机密信息,Robots.txt 并不是一个适当或有效的方式。它只会告知运行良好的抓取工具不要抓取相应网页,却不会阻止您的服务器将这些网页发送给请求它们的浏览器。其中一个原因是:如果互联网上的某处(例如引荐来源网址日志)恰好存在指向这些被禁止访问的网址的链接,那么搜索引擎仍然能够引用这些网址(仅显示网址,但不显示标题或摘要)。此外,未同意遵守《漫游器排除标准》的不合规搜索引擎或流氓搜索引擎可能会违反您的 robots.txt 文件中的指令。最后,用户可能会出于好奇查看您的 robots.txt 文件中的目录或子目录,并猜测您不想被看见的内容的网址。

在这些情况下,如果您只是希望网页不显示在 Google 中,则可使用 noindex 标记,无需担心任何用户会通过链接访问该网页。然而,为了做到真正的安全,您应该使用合适的授权方法(例如需要用户密码才能访问)或将网页从网站上彻底移除。

以上就是小小课堂网为大家带来的是【告诉 Google 不应抓取哪些页面】谷歌官方SEO指南3。常州seo感谢您的观看。马慧谷歌SEO教程。

如需购买系统的SEO优化、网络推广和网站建设的视频教程(提供一对一指导),联系QQ:2216876660  微信:huowuyan

喜欢记得,点赞,打赏哦。小小课堂网,每天一个SEO原创视频和图文教程,别忘了关注哦。

扫描二维码关注“小小课堂网”

第一时间获取最新教程

二维码

6

本文转载 " https://www.xxkt.org/5982 "

原文地址 " 谷歌站长平台教程 "

相关文章!
  • 网站搜索引擎优化 网站搜索引擎优化地区词的SEO技巧【必读干货】
    - 阅 121

    网站搜索引擎优化“地区词”到底有哪些SEO技巧呢?常见的优化方式又是什么呢? 今天,小小课堂SEO自学网带来的 […]

  • Google排名算法公式 2010年Google排名算法公式
    - 阅 271

    虽然是已经过去很多年的算法公式,但还是有一定参考价值的,毕竟很多原理性的知识不会变。 今天,小小课堂网为大家带 […]

  • 搜索引擎发展简史 搜索引擎发展简史
    - 阅 256

    搜索引擎发展简史,搜索引擎都经历了哪些时代。 今天,小小课堂网为大家带来的是转自百度百科的《搜索引擎发展简史》 […]

发表评论

电子邮件地址不会被公开。 必填项已用*标注