我来分享如何利用robots文件来进行SEO优化。

robots文件可限制抓取网页的搜索引擎蜘蛛对您网站的访问。这些蜘蛛是自动的,它们在访问任意网站的网页之前,都会查看是否存在阻止它们访问特定网页的 robots.txt 文件。简单的说,就是在百度进来抓取的第一时间,告诉百度指数哪些东西是可以看的,哪些东西是不能看的。只有当您的网站中包含您不想让搜索引擎编入索引的内容时,才需要使用 robots.txt 文件。Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。下面小编就来和大家说说如何利用robots文件来进行seo优化。

robots文件写法

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以\".htm\"为后缀的URL。

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以\".htm\"为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

Sitemap: 网站地图 告诉爬虫这个页面是网站地图

robots文件用法

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

实例分析:淘宝网的 Robots.txt文件

User-agent: Baidu百度蜘蛛

Disallow: /

User-agent: baidu百度蜘蛛

Disallow: /

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/287733.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
创业小编创业小编管理团队
上一篇 2023年6月27日 06:59
下一篇 2023年6月27日 06:59

相关推荐

  • 教你如何利用robots.txt文件来做SEO优化。

    我们在与人交往的时候,往往会将自己最好的一面展现给对方,避免不好的方面给对方留下不好的印象。同样,百度为了收录更多有效的页面,而seo人员也为了展示更多有价值的页面,避免百度收录一些没有意义的页面,robo…

    2023年6月29日
    02
  • 福利!seo 前端优化方法总结!

    在网站优化中,很多人会忽视前端优化对seo的作用,今天我们就来了解一下seo 前端优化方法,接下来就一起来看看下面的这一篇文章,这篇文章为我们总结了seo 前端优化方法,感兴趣的朋友快来吧! 一、前端页面的优化对…

    2022年5月21日
    0402
  • 教你做SEO优化的过程中为什么那么注重robots.txt。

    做SEO优化的过程中,我们也比较注重robots.txt这个文件,下面我们来具体了解一下:一、robots.txt基本介绍robots.txr文件是一个纯文本文件,可以告诉蜘蛛哪些页面可以爬取(收录),哪些页面不能爬取。搜索引擎爬去…

    2022年12月4日
    02
  • 小编分享什么是robots 协议robots协议书写的正确姿势。

    robots协议对每个网站来说都至关重要,想要写好自己网站的robots协议就需要明白以下这些内容: 1、什么是robots协议? robots协议全称“网络爬虫排除标准”,又称爬虫协议、机器人协议等,它规定着搜索引擎抓取网站时…

    2023年7月5日
    02
  • 小编教你在网站优化中,robots文件有什么用。

    robots文件,简单来说,就是网站与搜索引擎之间的协议。很多企业网站的robots文件现象,不是空白就是混乱,这是非常不利于网站优化的,更不利于保护需要保护的数据,会严重影响网站内容收录效果,下面大家详细分析…

    2022年12月2日
    00
  • PHP5中的文件操作

    读文件 string file_get_contents( string filename ) string filename:要获取内容的文件名称 返回值就是文件内容 array file ( string filename ) string filename:要获取内容的文件名称 将文件内的内容读入到一…

    2017年11月14日
    0305
  • 什么是SiteMap?sitemap有什么作用?

    什么是SiteMap? Sitemaps 协议使你能够告知搜索引擎网站中可供抓取的网址。最简便的方式就是,使用 Sitemaps 协议的 Sitemaps 就是列有某个网站所有网址的XML 文件。此协议可高度扩展,因此可适用于各种大小的网站…

    2019年3月18日
    0970
  • 分享robots文件对SEO优化的重要性。

    很多seo新手不仅不知道怎么利用robots,甚至不明白robots文件到底是为何物,但是这里需要指出的是,很多网站就是没有设置好这个文件导致了排名不理想,因此这个文件对网站优化是非常重要的,万万不容马虎,当然了很…

    2023年6月27日
    01

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息