所有网站的机器人文件都是公开的。如果你输入& ldquo域名/robots . txt & rdquo；当打开404错误页面时，意味着该网站中没有robots文件。
Robots文件是搜索引擎蜘蛛访问网站时首先要查看的内容。他们提前知道哪些网站允许它抓取，哪些不允许，它会遵守规定。如果你不做robots文件，这个网站的空间日志会出现404错误代码。没关系，因为很多网站都不做，尤其是小网站。但是大型网站都是一丝不苟，基本都做。
下图淘宝的robots文件表示禁止百度蜘蛛抓取网站的任何内容。有人会问& ldquo我搜了淘宝。很明显我可以找到它。是淘宝的失误，还是百度没有遵守这个规则？& rdquo下面用seo的小编来解释两件事:
(1)淘宝没有任何错误。
(2)百度确实有时会违反规则，包括其他搜索引擎。
搜索引擎并不完全符合robots文件，但一般来说是这样的。部分文章已被百度收录。如果想用robots文件暂时屏蔽它们，需要几个星期到一两个月的时间，才能删除百度数据库里的这些文章。
为什么淘宝一直在百度？不是说百度不按规则来，而是从用户体验的角度来说，如果一个网民去百度搜索& ldquoTaobao.com & rdquo；最后还是搜不到。他会觉得很奇怪，百度这么大的搜索引擎居然搜索不到这个知名的淘宝。所以像淘宝这样的知名网站，对百度来说是特殊的，或者从用户体验的角度来说，让网民搜索到这样的知名网站，即使淘宝的robots文件中禁止百度抓取。
本文来自投稿，不代表科技代码立场，如若转载，请注明出处https://www.cwhello.com/91112.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
