网站优化中Robots协议的原则标签及其他属性。

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。robots.txt文件是一个文本文件,使用任何一个常见的文本编辑器,比如Windows系统自带的Notepad,就可以创建和编辑它。robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

一、原则

Robots协议是国际互联网界通行的道德规范,基于以下原则建立:

1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

二、标签

Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots Meta标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。

1.index指令告诉搜索机器人抓取该页面;

2.follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

3.Robots Meta标签的缺省值是index和follow,只有inktomi除外,对于它,缺省值是index、nofollow。

三、其他属性

1. Robot-version: 用来指定robot协议的版本号

例子: Robot-version: Version 2.0

2.Crawl-delay:雅虎YST一个特定的扩展名,可以通过它对我们的抓取程序设定一个较低的抓取请求频率。您可以加入Crawl-delay:xx指示,其中,“XX”是指在crawler程序两次进入站点时,以秒为单位的最低延时。

3. Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL,否则不可访问.

例子: Visit-time: 0100-1300 #允许在凌晨1:00到13:00访问

4. Request-rate: 用来限制URL的读取频率

例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之间,以每分钟40次的频率进行访问

Request-rate: 12/1m 0800 - 1300 在8:00到13:00之间,以每分钟12次的频率进行访问

转载请注明来自:

标签:网站优化 Robots

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/73195.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年8月31日
下一篇 2022年8月31日

相关推荐

  • 搜索引擎中文分词技术详解。

    seo固执的认为做seo需要从底层入手,了解搜索引擎中文分词技术,能帮助我们理解seo技术的本质,更好的对网站进行优化。另外,除开本文提到分词技术外,其他的诸如搜索引擎原理等,也是必备的需要掌握的知识点。 seo…

    2022年8月27日
    070
  • 分享企业如何进行有效的品牌推广呢(二)(企业如何做品牌推广)

    随着当下市场竞争的扩大,公司发展也越来越趋向于全面化。对于每一个公司来说,打造一个具有竞争力的品牌是相当重要的。品牌的建设大体决定了企业的发展道路,而品牌推广乃是品牌建设的一个关键点,对于公司来说企…

    2023年4月22日
    00
  • 网站域名和网站网址的区别是什么。

    今天点瑞网给大家科普一下网站域名和网站网址的区别是什么?相信大家了解过网站域名,认为域名就是网址,其实不然,接下来点瑞小编为您细细道来: 域名的定义:域名是由一连串用点分隔的名字组成的Internet上某一台…

    2022年8月31日
    0125
  • 如何解决互联网产品和运营六大问题。

    1、关于产品和运营的互动 产品和运营不用分的那么细,大家都是全才,然后有某项特别突出:例如逻辑性强,大局观好,那么就去做产品,亲和力强情商高有鬼才,可以做运营。 一个100分的产品经理,做运营也能做80分。…

    2022年7月16日
    0220
  • 怎么样促进SEO优化推广进。

    内容为王,外链为皇,是一个陈词滥调的论题,它充沛显示出内容与链接在查找引擎中的重要程度,但随着百度算法的调整,比较于外链,价值内容在整个SEO推行中,显得分外重要。简直没有任何一个SEO人员,能够在长时间…

    2022年8月27日
    067
  • 教你企业必须选择新闻稿营销的四个理由。

    长期以来,新闻营销始终是企业品牌推广的重头戏,一般大型企业也有专门的公关经理负责新闻传播。新闻营销为什么这么受企业青睐呢?小编认为主要还是新闻营销有一些在品牌宣传方面的优势和作用无法替代。新闻营销的优…

    2023年6月6日
    00
  • 四种微信涨粉本地活动策划方案。

    昨天我和大家说了如何策划活动增长全国号的粉丝,那么今天我就来和大家说说我们如何做本地微信的涨粉方法。其实我们做的活动都是差不多的,但是我们需要选择的群体和地点不一样。我们之所以会在学校里面做全国号的…

    2022年7月16日
    0168
  • 教你企业全网营销涵盖内容有哪些。

    全网营销涵盖的范围主要包括1、网页搜索(百度、360、搜狗、soso等)根据行业、区域及产品特点整体规划关键词,在搜索引擎的结果页面取得较高的排名次序,增加企业网站在七大主流搜索引擎(百度、搜狗、搜搜、谷歌…

    2023年4月2日
    00

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息