首页>>搜索引擎优化>>什么是robots.txt？

什么是robots.txt？

    什么是robots.txt的?

　robots.txt的是一个文字(而不是HTML )的档案，你把你的网站告诉搜索机器人哪些页面，你想他们不要访问。robots.txt的绝不是强制性的搜索引擎，但一般来说，搜索引擎服从什么却要求他们不要做。这是必须澄清的robots.txt是没有办法阻止搜索引擎从抓取你的网站(即它不是一个防火墙，或者说是一种密码保护)和事实，即你把robots.txt文件是一样的东西再一次说明： "拜托，不要输入" ，对一个没有上锁的门-例如，你不能防止窃贼进入，但好人不会公开进行盘查，并进入。 这就是为什么我们说，如果你真的有特殊教育需要的敏感数据，这是太天真的依赖robots.txt的，以保护它被索引并显示在搜索结果中。

　　所在地的robots.txt是非常重要的。

　　它必须在主目录中，因为否则用户代理(搜索引擎)将无法找到它-他们不搜寻整个网站一档名为r obots.txt的。相反，他们首先在主目录(即http://mydomain.com/robots.txt ) ，如果他们不觉得有，他们只是假设这个站点没有一个robots.txt文件，所以他们指数千方百计寻找前进的道路。 所以，如果你不把robots.txt的，在合适的地点，并不感到惊讶，搜索引擎索引你的整个网站。

　　概念和结构的robots.txt已发展了10多年前，如果你有兴趣更多地了解它，请访问http://www.robotstxt.org/或者你可以直去，以标准为机器人排斥 ，因为在这篇文章中我们将只处理最重要的方面robots.txt文件。今后我们将继续进行结构robots.txt文件。

　　robots.txt文件结构