有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34735.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
一些刚开始做网站的新人不知道SEM和SEO的区别，或者他们对两者没有深刻的理解。他们只是简单地明白，SEO是自然的推广。SEM正在花钱促销。SEO和SEM有什么区别？ 对于任何一个网站，如果你想在网站推广上取得成功，你…
那之前一篇文章我们具体跟大家分析了网站优化中，为什么不能随意删除一些旧的内容，以及就算我们要删除，也得明白那么做的意义，所以接下来seo优化公司就具体来说说网站优化中，哪些的内容必须被删除或更新呢?1、优…
现在的企业用电子商务，开辟了新的蓝图，难逃危机，逆势而起的大局！如果企业选择了不当的网络营销方式，也可能付出高昂的成本而得不到回报。中国数以百万计的中小企业应该如何面对经济低迷？现在中小企业营销的秘…
近年来，随着互联网的普及，以及SEO分类门槛的低，越来越多的朋友进入网络，希望在这里实现自己的创业梦想。但是，进入网络后，无论是企业还是个人，建设网站、创业肯定会用到一种方法，即实施SEO优化。同时，因为…
网站进行seo时，站外优化和站内优化支撑网站的一个整体效果。对于站外优化，外链是必不可少的一个环节。外链建设很重要，高质量的外链建设更重要，但是在网站seo优化方面，内链的优化同样非常重要，为什么这么说呢?…
大家都知道，网站整体内容是由每一篇文章组成的，网站整体SEO效果就出自于SEO的思维，如果在写文章的时候带入SEO的思维，从这个细节上来说，文章的质量肯定就会更高，就会更容易受到搜索引擎的青睐，例如在写文章的…
Zac是搜索引擎优化（SEO）的专家，他建议每天发布一篇关于SEO的文章，以保持更新和提高技能。 每天做一贴SEO真的有那么必要吗？一年365篇文章真的那么简单吗？ SEO的重要性 1、提高网站排名：通过优化网站的关键词…
我们搜索一个关键字，所有排名较好的网站，说明和标题都是重复的关键字。所以我们在优化网站的时候，也需要在网站的标题和描述中布局关键词。接下来我们一起看看主页、栏目页和内容页三个标签优化吧。 网站首页里面…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
