十一
26
robots.txt是搜索引擎每次来查看网站的时候，首先访问的第一个文件。相当于一道门，robots.txt在网站优化中是必不可少的一步重要内容,他可以控制搜索引擎可以收录网站的内容，禁止搜索引擎收录一些重要信息，对安全性非常重要。
robots.txt是一个简单的纯文本文件，搜索蜘蛛每次来访问站点时，都会首先检查该站点根目录下是否存在robots.txt文件，如果存在，搜索机器人就会按照该文件中的“说明”来确定访问的范围；如果不存在该文件，则搜索引擎机器人默认这个网站允许其全部抓取。
请注意：robots.txt文件必须上传到根目录下，而且文件名必须全部小写。上传robots.txt后，通过比如http://www.gx-seo.org/robots.txt”>www.gx-seo.org/robots.txt 就可以正常访问。
你浏览的文章是 – 《什么是robots.txt》!
对此文章有什么疑问，请在SEO论坛交流
作者：深远@广西SEO 修订2.0 2009-11-26
版权声明：原创作品，转载请务必以超链接形式标明文章作者信息。否则将追究法律责任。
广西SEO行业第一品牌提供专业网站优化服务