如何巧用robots避免蜘蛛黑洞。

如何巧用robots避免蜘蛛黑洞?

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。

比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?

我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:

对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun

同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/46136.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年7月3日 00:03
下一篇 2022年7月3日 00:03

相关推荐

  • 做好企业网站建设,品牌营销是第一步。

    对于网站建设而言,为客户制作精美的网站作品仅仅是服务的一部分。建站企业要获得高价值回报,就必须将品牌理念扩展到更高的意识层面。作为品牌网站建设营销的重点,木兰设计认为可以分为‘了解、关注、体验、分享’…

    2022年7月3日
    098
  • CTR:2022年1-9月电视广告刊例花费同比下跌13.6%。

    根据CTR媒介智讯的数据显示,2022年1-9月电视广告刊例花费同比下跌13.6%。2022年1-9月的电视广告头部行业中,食品、商业及服务性行业的电视广告刊例花费同比呈现微涨,涨幅分别为0.9%和0.8%,相较去年,这两个行业…

    2023年3月2日 SEO操作
    00
  • 企业订制的网站项目有哪些。

    邮箱服务:网站建成后,很多企业为了提高公司的宣传形象和公司的实际需要,需要开通邮箱。很多企业邮箱公司不知道,你可以在线咨询我们的在线客服人员。 企业邮箱不同于其他postfix邮箱。网站开发语言:我们一贯的开…

    2022年9月10日
    086
  • 营销型网站建设要注意哪些。

    导读:前几年很多创业者都会做一个模板网站或者展示网站。随着互联网的不断发展,网站的类型越来越多。在众多类型的网站中,营销网站对企业产品的营销推广有很大的帮助,很受企业的欢迎和喜爱!搭建营销网站需要知道…

    2022年9月10日
    061
  • Seo优化应该怎么做才能效果好。

    一个网站要想做好SEO,首先要做的就是内容的创作,做好原创的内容,搜索引擎收录的多,网站排名好,自然就可以做好SEO,当然也要注意一点,就是在网站建设的时候,为了让搜索引擎可以更容易抓取网站的内容,我们首…

    2022年7月1日
    0115
  • robots文件对SEO优化的重要性。

    robots文件对SEO优化的重要性!很多SEO新手不仅不知道如何使用机器人,甚至不明白什么是机器人文件。不过这里需要指出的是,很多网站就是没有设置好这个档案,导致排名不理想。所以这个文件对于网站优化非常重要,…

    2022年9月10日
    065
  • 百万翘首的直播+竞答。

    最近很多人在下午6点、8点都会准备抱着手机目不转金地盯着屏幕15分钟以上,没错,就是最近正在爆火的直播+竞答类游戏,惹得王思聪、张一鸣、周鸿祎、奉佑生都纷纷出来疯狂撒币,同时激烈竞争让瓜分的金额从最开始的…

    2022年10月17日
    040
  • 公司网页制作後。

    很多公司和企业在做网站的时候都有这样一个误区,就是网站做好了以后一切都做好了,网站的目的就是营销,可以带来源源不断的流量。但是iWare网页设计团队的项目经理经常说:网站只是一个开始,下一步就是优化网站的S…

    2022年9月10日 网站搭建
    063

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息