怎么设置网站robots？在《robots.txt文件规则》，小小课堂网讲述了robots的基础知识，相信大家都已经知道robots是可以控制搜索引擎的蜘蛛抓取网站内容的文件，那么它的效果是什么呢？当然是便于我们做SEO优化。今天，小小课堂网（ www.xxkt.org ）为大家带来的是《怎么设置网站robots(robots优化WordPress与dedecms)》。希望对大家有所帮助。
一、robots优化WordPress博客
基本的WordPress的robots协议如下：
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /feed/ 这里定义是禁止爬寻feed
Disallow: /*/feed 这里定义是禁止爬寻文章或栏目feed
Disallow: /trackback/ 这里定义是禁止爬寻trackback目录下面的目录
Disallow: /wp-admin/ 这里定义是禁止爬寻wp-admin目录下面的目录
Disallow: /wp-content/ 这里定义是禁止爬寻wp-content目录下面的目录
Disallow: /wp-includes/ 这里定义是禁止爬寻wp-includes目录下面的目录
Disallow: /xmlrpc.php 这里定义是禁止爬寻xmlrpc.php文件
Disallow: /wp- 这里定义是禁止爬寻wp-目录下面的内容
Allow: /wp-content/uploads/ 这里定义是禁止爬寻admin目录下面的目录
Sitemap: http://www.xxkt.org/sitemap.xml 这里定义是禁止爬寻admin目录下面的目录
将以上内容另存到文本文档里，命名为robots.txt上传到服务器的网站根目录下。
二、robots优化dedecms织梦企业网站
基本的dedecms的robots协议如下：
User-agent: *
Disallow: /dede 管理后台目录，需要改名，具体设置后面具体讲
Disallow: /include 程序核心文件目录
Disallow: /member 会员管理目录，有些文件可以开放
Disallow: /plus 插件及辅助功能目录 ，有些文件可以开放，如search.php
Disallow: /templets 默认模板存放目录
Disallow: /data 系统缓存或其它可写入数据存放目录
Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话，禁止
Disallow: /images 系统默认模板图片存放目录
Disallow: /index.php 网站默认首页，静态化的话，最好禁止
Disallow: /404.html
Allow: /plus/search.php 开放禁止目录里的具体文件
将以上内容另存到文本文档里，命名为robots.txt上传到服务器的网站根目录下。
三、robots是如何优化网站
网站权重不同，搜索引擎可以收录的页面数量也会不同，robots.txt的目的是减少不必要的收录，让更多有价值的网页被搜索引擎所收录，让整个网站收录的页面的质量提升。如用户注册页、关于我们等，都属于毫无价值的页面。
以上就是小小课堂网（ www.xxkt.org ）为大家带来的是《怎么设置网站robots(robots优化WordPress与dedecms)》。感谢您的阅读。SEO培训认准小小课堂！
所有文章均为小小课堂网原创。发布者：SEO免费培训教程，转转请注明出处：https://www.xxkt.org/2510
评论列表（1条）
小小课堂SEO自学网（https://www.xxkt.org/ ）,SEO教程自学网,提供seo实战培训,石家庄马慧专业研究搜索引擎优化,致力网站SEO优化教程学习以及seo技术教程培训,提供自学seo视频教程免费观看。