在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现，那么要怎么办呢？我要怎么跟搜索引擎说你不要抓取我的xx内容呢？这时候robots就派上用场了。
Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件，就这么一句话可以解释robots.txt是什么，但是我们需要注意的几点：
1.robots.txt必须存放在网站的根目录下。
2.其命名必须为robots.txt
3.Robots.txt是搜索引擎访问网站的第一个页面
4.Robots.txt中必须指明user-agent
以上是关于什么是robots的说明，如果你想了解robots要多久生效，可以查看：http://seo.aizhan.com/qa/92.html
本文来自投稿，不代表重蔚自留地立场，如若转载，请注明出处https://www.cwhello.com/34694.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除
一、网络推广就是以产品为核心内容，建立网站，再把这个网站通过各种免费或收费渠道展示给网民的一种推广方式。网络推广是什么意思?网络推广就是以企业产品或服务为核心内容，建立网站，再把这个网站通过各种免费或…
SEO 是提升网站自然流量的一种方式，用这种方法得到的效果持久且优质。网上 SEO 工具有很多，下面为大家精选了好用的SEO工具，参考 SEO 工具的相关分析数据，可以让我们更深入的了解网站在百度上的状态。 一、SEO优…
现在的问题不再是企业是否做推广，而是做什么推广。互联网市场的竞争压力很大。如果你想做全渠道营销，你必须尝试一下SEO优化，SEO优化是公认的成本低，效果稳定的营销手段。 但成本极高，企业只能在成本控制下观望…
营销灯具类的网站做推广和营销，也是需要去符合seo网站优化的规则，同时还需要去重视关于灯具类产品的特殊性，因为灯具类的产品牵涉到安装问题，牵扯到用电的问题，所以在这种网站的推广营销过程中，seo是什么？其…
随着SEO的普及，更多的朋友开始了解SEO这个行业，在见识到其中的好处以后，许多朋友就开始纷纷学习SEO。同样的，肯定有部分朋友对他们学习SEO的态度不是很理解，于是就非常的好奇他们为什么想要学习SEO？SEO优化能…
在传统PC端互联网时代，网站的70%的流量，主要依赖在搜索引擎做的关键字，关键字优化对网站来说非常重要，它是网络搜索索引的主要方法之一，那么，提高网站搜索排名，最重要的工作就是你的关键词优化的如何。 1、网…
网站进行关键词优化的时候，并不是所有的关键词你都能优化上去的，这是需要根据自身情况来量身选词，才能发挥最大的作用。简单来说，如果热度很高的词，即使你花费太多精力和时间上去，排名依然没有起色;或热度平庸…
现如今，我们整天都离不开手机，手机已经成为了我们身边的一个必不可少的“伙伴”我们可以在手机上面找到我们想要的东西，我们可以用手机打游戏娱乐，也可以用手机学习，同时手机也可以给我们的生活带来很多便利，我…
在线咨询：
邮件：951076433@qq.com工作时间：周一至周五，9:30-18:30，节假日休息
