有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34735.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
在做网站排名优化时，保持良好的心态，有着非常积极的意义。毕竟，网站排名优化并不是一件很容易的事情，可能需要深思熟虑才能提高一部分，细节决定成败。在之前的网站排名优化文章中也分析了影响网站排名优化的一…
现在的劳动者越来越多，人才过剩的背景下必然是劳动力廉价。在你找不到工作或者不愿意按部就班地每天打卡上班时，你该做什么？有个若隐若现的答案，艰苦又激情地，来创业吧，这个是一个不错的选择。 （分享3个…
网站已经成为企业营销发展的重中之重，但一个好的网站需要不懈的运营和优化，尤其是网站的优化。网站运营商需要做好网站优化工作，在网站运营过程中需要做好网站优化策略。那么如何在网站代理运营的过程中运用SEO技…
现在互联网产业发展越来越快。越来越多的人开始意识到网站建设的重要性。通过网站建设，可以使自己的宣传推广过程更加顺畅，特别是网站的有名度将得到全面提升。重要的是降低宣传和营销的成本，使宣传和营销的效果…
网站的访问量是需要制作者们花费时间去尽心琢磨的，如果网站的着陆页的点击率并不高的话，我们可以采用对着陆页进行优化的方式来对增加网页的转化率。在网络的着陆页中，我们要知道，应该有哪些内容来吸引用户的眼…
更新，应该是每个网站比较重要的话题，无论是新手还是老蒋，都知道更新的重要性。首先，网站的更新是网站存在的基础。不时更新网站，不仅有利于搜索引擎的收藏，也有利于改善用户体验。只有拥有真实内容的网站才有…
可能对于刚刚接触seo优化的新手，对长尾关键词不是很了解，也不知道长尾关键词是怎么来的，今天为大家讲一讲杭州seo中长尾关键词的定义及其如何挖掘!一、长尾关键词的特征我们先要确定长尾关键词是怎么形成的，长尾…
seo不是事后工作，在站点在建设之初就要考虑到如何对搜索引擎友好。在小编看来，花大价钱买的域名，不如经验丰富的SEOer在站点结构上进行深度优化，会带来更高流量。 先说结论吧：url构成（或者叫url规则）越简单越…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
