在wordpress网站优化过程中的robots.txt爬虫协议。

爬虫协议Robots.txt是在网站上找到的第一个文件搜索蜘蛛。它告诉搜索引擎可以抓取哪些页面以及哪些页面无法抓取。

wordpress网站优化之robots.txt爬虫协议的写法

当我们在我们的网站上有错误页面时,或者某些页面不希望蜘蛛抓取时,合理配置的机器人协议可以使蜘蛛更有效,更快速地抓取需要抓取的内容。当搜索引擎蜘蛛进入网站时,首先要确定网站根目录目录下是否有robots.txt文件。如果存在,则根据文件的规范对内容进行爬网;如果该文件不存在,则根据默认规则对网站中的所有页面进行爬网。 。因此,本文介绍了一些机器人的语法和常见示例。

网站设置robots.txt的好处:禁止搜索引擎包含页面的一部分;引导蜘蛛爬行站点地图;可以在一定程度上保护网站安全;节省流量等。

Robots基本语法:

1、定义搜索引擎:User-agent。

2、Disallow 禁止爬取。

3、Allow 允许。默认情况下,都是允许的。

例如:禁止admin文件夹下的所有文件,除了.html的网页。如果用Disallow一个一个的禁止,太浪费时间了。

此时用Allow就解决这个问题:

4、$ 结束符。

例:允许所有的以.html结尾的文件。不管前面有多长的URL,只要以.html结尾都允许

5、* 通配符符号0或多个任意字符。

例:屏蔽所有的动态URL

6、Sitemap 声明网站地图。

7、#: 注释符。

8、版本号

注:

常用Robots.txt 文件举例

例1、禁止所有搜索引擎访问网站的任何部分

例2、禁止访问某些目录。注意的是对每一个目录必须分开声明。

例3、禁止某个搜索引擎抓取网站上的所有图片

User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/45043.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年6月28日 23:29
下一篇 2022年6月28日 23:29

相关推荐

  • 关于索引量,你必须知道的事。

    网站被Baiduspider抓取收录后,经过一系列计划才得以建入索引库,有了和搜索用户见面的机会。所以,索引量一直是站长们关注的焦点,但我们发现,依然有很多站长对索引量存在误读。于是学院整理了一些常见问题,纠正…

    2022年7月3日
    0457
  • SEO揭秘——如何让内容成为度娘的“新欢”。

    一些网站的收录率长期超过80%,而有一些站长则天天抱怨自己的网站收录率仅仅只在10%左右,这样的例子不胜枚举,那么这里爱站网SEO就有话说了,到底怎样才能让度娘爱上自己的内容呢? 不应该做去伪原创 很多网站在进…

    2022年3月12日
    0216
  • 一个域名同时做百度竞价和SEO会相互影响。

    近年来,公司已收到越来越多的SEO客户,并遇到越来越多的问题。今天,小编将讨论企业网络刚刚遇到的一个问题。在我公司有一个客户选择SEO业务来宣传公司的产品和业务,而客户则希望在做百度竞价的同时快速排到百度…

    2023年2月16日
    00
  • 挖掘潜在用户获取互联网订单,企业就必须要重视网络营销推广。

    在网络营销推广过程中,许多企业都存在着问题。完成营销网站后,他们不做促销。每天的任务都是更新文章。他们中的许多人在没有计划的情况下进行网络营销,甚至什么都不做。无论是什么网站,它都会沉入大海,纯更新…

    2023年2月18日
    00
  • 加快您的网站来促进SEO的提升

    如果您的网站运行缓慢,则有可能使用户感到沮丧。这使得他们不太可能参与,浏览,转换或再次访问。反过来,这可以使他们减少分享您的内容,链接到您的页面或推荐您的品牌的可能性。 简而言之,速度是WordPress SEO…

    2020年4月21日
    0222
  • 分析企业网站做营销推广有哪些必要原因。

    在互联网时代,越来越多的企业重视网络平台,选择做网络推广。即使是只开线下门店或提供线下服务的企业,也走上了互联网推广的道路。为什么越来越多的企业选择做网络推广?背后的根源是什么?今天,小编将介绍现代…

    2023年2月19日
    00
  • 小编分享做seo需要懂什么技术。

    有人说seo就是个打杂的,哪里缺人就要去哪里。从这句话我们可以隐约的看出可能要懂很多技术。对于很多新手SEO而言,除了要懂得一些基本的专业知识之外,还需要做哪些日常工作和知识的积累呢?1.html基础做seo需要让…

    2023年6月22日
    00
  • 小编分享SEO优化的八大步骤是什么。

    seo是指通过采用易于搜索引擎索引的合理手段,使网站各项基本要素适合搜索引擎检索原则并且对用户更友好(Search Engine Friendly),从而更容易被搜索引擎收录及优先排序从属于SEM(搜索引擎营销)。接下来本文小编将…

    2023年6月28日
    00

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息