robots.txt有什么作用?很多人问过小小课堂SEO自学网,robots.txt文件到底有没有用?有什么用?大部分回复的是,细致优化的效果肯定会好一些,其意思是在某些网站上,可能不放robots.txt文件也无大碍,但是对于某些网站,可能会有不好的影响。
今天,小小课堂SEO自学网带来的是《robots.txt有什么作用(robots文件的作用与怎么写)》。希望对大家有所帮助。
一、不必要的页面被收录
小小课堂的几个站都采用了WordPress系统,恰巧这些问题都是从这些wp博客中出现的。
① 分页页面被收录
之前的小小课堂网建站之初,就出现过分页页面被收录的问题,过多的收录分页对网站优化没有任何意义,虽然在一定程度上Google会认为这种页面重复率过多,不予收录。参见以往教程《SEO优化网站分页页面被收录》。
这种情况通常URL中包含了page。
② feed 或 attachment等页面被收录
rss feed本来是方便人们订阅的,不过被收录就显得毫无意义了。这种页面的url中通常带有feed。
③ /?r= 或 /?s= 等页面被收录
同样的,这些页面也是毫无意义的,收录了过多这样的页面,必定对网站毫无意义。这个问题发生在前段时间弄的Anli网赚博客上。
二、以上问题robots.txt文件解决
在robots.txt文件中添加一下命令即可解决该问题:
Disallow: /?s=*
Disallow: /?r=*
Disallow: /*/?s=*\
Disallow: /*/?r=*\
这里就不给出具体的WordPress robots.txt的整个文件信息了,因为小小课堂在操作robots.txt之后,发现出现的问题不统一,并且,这些robots.txt文件并不是可以试用每一个WordPress站,如果真的可以那样,小小课堂认为WordPress官方可能也会出一个自带的WordPress吧。
当然,除了添加这样一个robots.txt文件之外,最好还将那些被收录的页面全部提交快照删除。不过对于百度可以这样,对于搜狗搜索貌似有点无能为力,就好比之前的小小课堂一共1000多文章,收录却有10000多。
以上就是小小课堂SEO自学网带来的是《robots.txt有什么作用(robots文件的作用与怎么写)》。感谢您的阅读。
所有文章均为小小课堂网原创。发布者:SEO免费培训教程,转转请注明出处:https://www.xxkt.org/12556