网络爬虫是如何爬行与抓取页面的

- 马慧seo - 阅 389

网络爬虫,在搜索引擎系统中又被称之为“蜘蛛”或“机器人”,是用来爬行和访问页面的程序。

今天,小小课堂网为大家带来的是《网络爬虫是如何爬行与抓取页面的》教程。希望本次的SEO技术培训对大家有所帮助。

网络爬虫

一、网络爬虫简介

网络爬虫,在搜索引擎系统中又被称之为“蜘蛛”或“机器人”,是用来爬行和访问页面的程序。

① 爬行原理

网络爬虫访问网页的过程,就好比用户使用的浏览器。

网络爬虫向页面发出访问请求,该页面的服务器则返回该页面的HTML代码。

网络爬虫将收到的HTML代码存入搜索引擎的原始页面数据库中。

② 如何爬行

为了提高网络爬虫的工作效率,通常采用多个蜘蛛并发分布爬行。

同时,分布爬行还分为两种模式:深度优先和广度优先。

深度优先:沿着发现的链接一直爬行,直到没有任何链接。

广度优先:先这一页面上的所有链接爬行完毕之后,才会沿着第二层页面继续这样爬行。

③ 蜘蛛必遵守的协议

网络爬虫在访问网站之前,都会先访问网站根目录下的robots.txt文件。

网络爬虫不会去抓取robots.txt文件中禁止爬行的文件或目录。

④ 常见搜索引擎蜘蛛

百度蜘蛛:Baiduspider

谷歌蜘蛛:Googlebot

360蜘蛛:360Spider

SOSO蜘蛛:Sosospider

有道蜘蛛:YoudaoBot,YodaoBot

搜狗蜘蛛:Sogou News Spider

必应蜘蛛:bingbot

Alexa蜘蛛:ia_archiver

二、如何吸引更多网络爬虫

互联网信息爆炸,网络爬虫不可能将所有网站的所有链接全部爬行到,那么如何吸引更多的网络爬虫到我们网站上来爬行变得非常重要。

① 导入链接

无论是外部链接,还是内部链接,只有有导入,才能被网络爬虫知道该页面的存在。所以,多多做外链建设有助于吸引更多蜘蛛来访。

② 页面更新频率

页面更新频率越高,网络爬虫来访的次数也会越多。

③ 网站和页面权重

整个网站的权重以及某一页面的权重(包括首页也是页面)影响着蜘蛛的来访频率,权重高、权威性强的网站一般都会增加网络爬虫的好感。

④ 与首页的距离

首页>一级目录>二级目录>三级目录>四级目录…很显然,目录越深蜘蛛来访的几率和次数就会越少,因为一般外链都是指向首页的,首页再向下爬行,只会越来越少。

这里给大家的建议是,做外链的时候,不要只做首页外链,偶尔做一做栏目和聚合页面的外链也还是不错的哦~

有些时候,URL短,蜘蛛可能也会觉得这个链接的权重哦,所以,最好只做一级栏目,然后就是文章页面。

三、网络爬虫地址库

网络爬虫有一个专门的地址库,用来存放已经被发现的URL(已被抓取和未被抓取的都算,只要是被发现的URL都算),这样就不会出现重复爬行和抓取页面的情况了。

① 地址库URL来源

蜘蛛抓取的页面中发现的新的URL;

站长后台自主提交的URL;

站长后台提交的XML地图中的URL;

站长后台提交的网站URL;

② 对于未被抓取的URL

对于未被抓取的URL,不管是以什么方式获取的,哪怕是网络爬虫自己发现的,也会先放入地址库中,然后在做统一抓取。

四、页面数据存储

网络爬虫将抓取的页面数据会存入搜索引擎的原始页面数据库中,其实,就可以理解为快照中看到的页面数据,和用户看到的是一样的,每一个页面的URL地址都有一个唯一的编号。

五、复制内容检测

网络爬虫在爬行的过程中,会进行一定程度的复制内容检测。如果是权重低的网站上,发现了大量的转载或抄袭内容时,可能会停止爬行,这些页面可能也会不抓取与收录。

但并不是说网站就不能转载,像一些权重很高的平台,哪怕是转载了一篇旧闻排名也可以很好,因为网络爬虫可能会觉得,就算是旧闻可能也是高质量的吧。

以上就是小小课堂网为大家带来的是《网络爬虫是如何爬行与抓取页面的》教程。感谢您的观看。网站优化培训认准小小课堂!

非特殊说明,本文为小小课堂SEO自学网原创,欢迎转载并保留版权 https://www.xxkt.org/

本站提供SEO培训、咨询、诊断,微信(电话):13722793092 微信公众号:xxktorg

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章!