所有网站的机器人文件都是公开的。如果你输入& ldquo域名/robots . txt & rdquo;当打开404错误页面时,意味着该网站中没有robots文件。
Robots文件是搜索引擎蜘蛛访问网站时首先要查看的内容。他们提前知道哪些网站允许它抓取,哪些不允许,它会遵守规定。如果你不做robots文件,这个网站的空间日志会出现404错误代码。没关系,因为很多网站都不做,尤其是小网站。但是大型网站都是一丝不苟,基本都做。
下图淘宝的robots文件表示禁止百度蜘蛛抓取网站的任何内容。有人会问& ldquo我搜了淘宝。很明显我可以找到它。是淘宝的失误,还是百度没有遵守这个规则?& rdquo下面用seo的小编来解释两件事:
(1)淘宝没有任何错误。
(2)百度确实有时会违反规则,包括其他搜索引擎。
搜索引擎并不完全符合robots文件,但一般来说是这样的。部分文章已被百度收录。如果想用robots文件暂时屏蔽它们,需要几个星期到一两个月的时间,才能删除百度数据库里的这些文章。
为什么淘宝一直在百度?不是说百度不按规则来,而是从用户体验的角度来说,如果一个网民去百度搜索& ldquoTaobao.com & rdquo;最后还是搜不到。他会觉得很奇怪,百度这么大的搜索引擎居然搜索不到这个知名的淘宝。所以像淘宝这样的知名网站,对百度来说是特殊的,或者从用户体验的角度来说,让网民搜索到这样的知名网站,即使淘宝的robots文件中禁止百度抓取。
本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/91112.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除