robots.txt是什么东东
那么网站根目录下的robots.txt是什么呢?
robots.txt是一个最简单的.txt文件,用以告诉搜索引擎哪些网页可以收录,哪些不允许收录。
关于robots.txt需要注意以下几点:
- 如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行。
- 必须命名为:robots.txt,都是小写,robot后面加"s"。
- robots.txt必须放置在一个站点的根目录下。如:通过http://www.xbdsky.cn/robots.txt 可以成功访问到,则说明本站的放置正确。
- 一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。
- 观察这个页面并修改为自己的:http://www.xbdsky.cn/robots.txt
- 有几个禁止,就得有几个Disallow函数,并分行描述。
- 至少要有一个Disallow函数,如果都允许收录,则写: Disallow: ,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。
补充说明:
User-agent: * 星号说明允许所有搜索引擎收录
Disallow: /search.asp 说明 http://www.xxxx.com/search.asp 这个页面禁止搜索引擎抓取。
Disallow: /default.asp?* 说明类似这样的页面 http://www.xxxx.com/default.asp? 这个?后面的所有的链接都禁止搜索引擎抓取。
用了robots.txt后我们站点的页面减少了很多,这样减少了页面的重复度了,更多的希望您能继续关注我们小不点。本文地址: http://xbdsky.cn/robots-txt.html