网站优化之Robots文件的作用及制作方法。

Robots协议(爬虫协议)是国际互联网界通行的道德规范,一般是在一个web站点的根目录下写的robots.txt文件,用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取,可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面,Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

robots.txt文件的格式

robots文件往往放置于根目录下,包含一条或更多的记录,在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

User-agent:该项的值用于描述搜索引擎robot的名字。在\\\"robots.txt\\\"文件中,如果有多条User-agent记录说明有多个robot会受到\\\"robots.txt\\\"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在\\\"robots.txt\\\"文件中,\\\"User-agent:*\\\"这样的记录只能有一条。如果在\\\"robots.txt\\\"文件中,加入\\\"User-agent:SomeBot\\\"和若干Disallow、Allow行,那么名为\\\"SomeBot\\\"只受到\\\"User-agent:SomeBot\\\"后面的 Disallow和Allow行的限制。

Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如\\\"Disallow:/help\\\"禁止robot访问/help.html、/helpabc.html、/help/index.html,而\\\"Disallow:/help/\\\"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。\\\"Disallow:\\\"说明允许robot访问该网站的所有url,在\\\"/robots.txt\\\"文件中,至少要有一条Disallow记录。如果\\\"/robots.txt\\\"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如\\\"Allow:/hibaidu\\\"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

使用\\\"*\\\"and\\\"$\\\":Baiduspider支持使用通配符\\\"*\\\"和\\\"$\\\"来模糊匹配url。

\\\"*\\\" 匹配0或多个任意字符

\\\"$\\\" 匹配行结束符。

robots.txt文件书写举例:

1. 允许所有的robot访问

User-agent: * Allow: / 或者 User-agent: * Disallow:

2. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

3. 仅禁止Baiduspider访问您的网站

User-agent: Baiduspider

Disallow: /

4. 仅允许Baiduspider访问您的网站

User-agent: Baiduspider

Disallow:

5. 禁止spider访问特定目录

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

6. 允许访问特定目录中的部分url

User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

7. 使用”*”限制访问url,禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

User-agent: *

Disallow: /cgi-bin/*.htm

8. 使用”$”限制访问url,仅允许访问以”.htm”为后缀的URL。

User-agent: *

Allow: .htm$

Disallow: /

9. 禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

10. 禁止Baiduspider抓取网站上所有图片,仅允许抓取网页,禁止抓取任何图片。

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

11. 仅允许Baiduspider抓取网页和.gif格式图片,允许抓取网页和gif格式图片,不允许抓取其他格式图片

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

12. 仅禁止Baiduspider抓取.jpg格式图片

User-agent: Baiduspider

总结:最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

转载请注明来自:

标签:网站优化 Robots点瑞科技

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/61080.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年8月22日
下一篇 2022年8月22日

相关推荐

  • 网赚的网站如何推广。

    有不少网赚项目虽然说工作没有什么难度,但是因为网赚平台太多,需要建设信任度和推广,确实一时间也是让大家有一些焦头烂额。如果能够知道网赚的网站如何推广,我们每天按部就班来完成工作,自然也是可以看到不错…

    2022年8月21日
    0185
  • [贵阳seo教程]网站被镜像了怎么办。

    最近收到不少站长反馈被镜像的问题,网站被镜像后,站点流量、关键词都会受到影响,是很多网站深恶痛绝的现象,站长通过禁止正文被粘贴、禁止镜像站IP都无法彻底杜绝被镜像现象。被镜像该如何维权,学院君整理以下…

    2022年8月23日
    0115
  • 一个简单介绍内在的网页设计。

    在某些情况下,每个行业都有它的术语和几乎它自己的语言。 网页设计有很多术语,即使我们编造的短语中有一半是花哨和无意义的职位,但是,由于不得不发明自己的词汇和缩略词,所以术语起着重要的作用:它使我们能够…

    2023年2月14日
    01
  • 移动端的需求和PC端网站建设那个更重要。

    这似乎是一个不大不小的新闻,专注移动端电商。在电商平台天猫、淘宝及京东等行业巨头,依旧兼顾PC、移动双端业务的时候,处在行业二流(仅就业务交易量而言,并无任何贬低之意)此举可以魄力不小。并不只是电商平台…

    2022年8月21日
    0124
  • 网站哪些操作会影响seo的优化效果。

    网站哪些操作会影响SEO的优化效果?当下搜索引擎优化,很多细节因素如果把握不到位,则会大大的影响seo的执行效果,那么,作为站长我们必须明白以下伤害网站优化的行为,在优化过程中尽量的去避免这样的事情发生,…

    2023年3月1日
    00
  • 更准确的通过用户心理模型建设满意的网站。

    每个人都有自己的心理模型,最初网站建设想要一个什么样子,有哪些板块,颜色搭配是怎样的,这些都已经建立在了用户基础的心理模型之上。每个人对同样一个事物的理解方式是不一样的,所以我们需要多与客户进行沟通…

    2023年2月20日 SEO操作
    00
  • 如何对功能做体验升级?功能体验升级5个有效步骤。

    互联网产品往往都有自身的生命周期,处在不同阶段的产品,对应的产品目标也有所不同。那么在不同阶段,应该如何对产品进行功能体验升级呢?本文作者结合自身的工作经验分享了他的看法,一起来看一下吧。互联网产品…

    2023年3月7日 SEO操作
    01
  • SEO优化高手分析流量翻倍的妙招。

    有的优化人员擅长降低CPA。他们擅长将数据进行整理,通过汇总数据,运用成本与转化构成二维四象限的图表,通过分类进行优化。 对于低成本的渠道和关键词进行放量;对于高成本的渠道和关键词进行收量。这样的优化方式…

    2022年9月2日
    074

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息