教你网站抓取会遇到的问题及解决方法。

当您面对大型网站可能遇到的上千个潜在问题时,您从哪里开始? 这是我们在重建网站抓取时尝试解决的问题。 答案几乎完全取决于您的网站,并且可能需要对其历史和目标的深入了解,但至少应该有一个可以概述帮助您减少噪音并开始使用的seo过程。

简单的操作有时是危险的,为什么?

以前,我们试图将网站初期的每个问题标记为高,中,低优先级。 这种简单的方法可能是有用的,但我们发现不能这样做,你可能会想知道为什么我们离开它。

首先,网站优化要素优先次序取决于您的意图。 如果搜索引擎在进行网站抓取的时候,误解你的意图可能会导致不好的结果,从混乱到彻底的灾难性的。 比方说,我们在Moz上聘请了全新的SEOER,发现网站存在以下问题:

网站同时存在几乎35,000个NOINDEX标签?

如果采用搜索引擎优化工具赶紧删除这些标签,那么网站本身会受到很大的伤害,而不是意识到绝大多数这些指令是有意的。 我们可以让我们的系统更聪明,但是他们看不懂,所以我们要对虚警报警谨慎。

网站抓取会遇到的问题及解决方法

其次,优先考虑的问题并不能帮助您了解这些问题的性质或如何解决这些问题。 我们现在将网站抓取问题分为四种描述类型之一

历史数据问题

重定向问题

元数据问题

内容问题

按类型进行分类可以让您更具seo技术。 例如,我们新的“重定向”类别中的问题将会有更多的共同点,这意味着它们可能有共同的修复。 最终帮助您找到问题只是第一步。 我们希望能够更好地帮助您解决问题

1.从严重的爬虫问题开始

这不是说一切都是主观的。 一些问题阻止抓取工具(不仅仅是我们的,而是搜索引擎)到达你的页面。 我们将这些“关键爬虫问题”分组到我们的第一类,目前包括5XX错误,4XX错误和重定向到4XX。 如果您在5XX错误中突然上升,您需要知道,几乎没有人有意将其重定向到404。

您会看到整个网站抓取界面中突出显示严重的爬网程序问题:

寻找红色的警报图标来快速找到关键问题。 首先解决这些问题。 如果无法抓取页面,那么每个其他抓取工具的问题都是无法解决的,对seo是极为不好的。

2.平衡流行率的问题

在解决您的技术性SEO问题时,我们还必须平衡严重性与数量。 不了解你的网站,我会说404错误可能值得在重复的内容之前解决 - 但是如果你有十一个404和17,843个重复的页面呢? 你的优先事项突然看起来很不一样。

我们已经为你做了一些seo数据分析,通过问题的普遍程度来加重紧迫性。 这需要对优先级的一些假设,但如果您的时间有限,我们希望至少为您提供解决几个关键问题的快速起点。

网站抓取会遇到的问题及解决方法

3.解决多页问题

解决高额问题的另一个优点是。 在许多情况下,您可以通过一次修复来解决数百个(甚至数千个)页面上的问题。 这是一个更加战术的方法可以为您节省大量时间和金钱的地方。

比方说,我想在Moz.com上挖掘916页,缺少元描述。 我马上注意到,其中一些页面是博客文章。 所以,可以通过URL过滤解决网站抓取问题:

我可以很快看到,这些页面占我缺少描述的392个,高达43%。 如果我担心这个问题,那么可能我可以通过一个相当简单的CMS页面解决它,用几行代码擦除数百个问题。

在不久的将来,我们希望为您做一些这样的分析,但如果过滤不能完成此工作,您还可以将任何问题列表导出到CSV。 然后,转动和过滤到你的心脏的内容。

4.通过PA和爬行深度潜入页面

如果您不能轻易找到明确的模式,或者如果您已经解决了一些重大问题,那么下一步呢? 一次修复数千个问题一个URL只是值得的,如果你知道这些URL很重要。

幸运的是,您现在可以按页面权限(PA)和网站抓取中的抓取深度进行排序。 PA是我们自己的排名能力的内部指标(主要由链接权重判断),爬网深度是页面与主页的距离:

在这里,我可以看到我们的MozBar网址中有一个重定向链,这是一个非常高权限的页面。 这可能是一个值得修复的问题,即使它不是一个明显的,更大的组织的一部分。

5.注意网站抓取中出现的突发问题。

最后,随着时间的推移,您还需要注意新问题,特别是如果网站抓取问题同一时间大量出现的情况。 这可能表明突然和潜在的破坏性变化。 网站抓取现在可以轻松跟踪新问题,包括警报图标,图表和按类别的新问题的快速摘要:

任何爬网都会发现一些新的页面(内容机器永远不会休息),但是如果您突然看到数以百计的单一类型的新问题,重要的是迅速挖掘,确定没有任何问题。 在一个完美的世界中,SEO团队总是会知道其他人和团队对网站的改变,但我们都知道这不是一个完美的世界。

当您面对大型网站可能遇到的上千个潜在问题时,您从哪里开始? 这是我们在重建网站抓取时尝试解决的问题。 答案几乎完全取决于您的网站,并且可能需要对其历史和目标的深入了解,但我想概述一个可以帮助您减少噪音并开始使用的seo过程。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/272960.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
创业小编创业小编管理团队
上一篇 2023年6月9日 12:01
下一篇 2023年6月9日 12:01

相关推荐

  • 我来说说怎么解决韩国服务器慢的问题。

    解决韩国服务器慢的问题,可尝试优化网络设置,增加带宽,使用CDN服务,或升级硬件。定期维护和清理无用数据也有助于提升速度。 解决韩国服务器慢的问题,通常需要从多个方面进行诊断和优化,以下是一些可能的解决…

    2024年6月28日
    00
  • 百度新闻源申请方法步骤

    如果获得百度新闻源那么也意味着网站的流量会比起其他网站更加爆,但百度新闻源是需要申请并且要符合条件的,那么百度新闻源申请方法步骤有哪些呢?下面跟小编一起来了解百度新闻源是什么。 百度新闻源申请 百度新闻…

    2022年5月21日
    0402
  • 我来教你seo执行策略怎么写。

      以策略来指导seo具体工作的结果是效率更高,在准备对网站进行seo优化之前,需要拟定相应的seo执行策略,怎么写是问题,能否定时定量的执行也是问题。做seo会面临各种问题,seo起效的过程就是不断解决优化难题的…

    2022年12月2日
    00
  • 我来分享网站SEO关键词怎么可以快速占据首页位置呢。

    很多站长在做网站优化的时候,都是想着怎么上排名,尤其是时间上面,总想着如何把时间缩短,致使穿入一些SEO禁区,导致网站之后的优化工作变得极为困难,但也不可否认,有的企业在招聘SEO人员的时候,并没有过多的…

    2023年3月10日
    01
  • 我来教你很多站长都会遇到SEO中网站收录越来越少的问题。

    很多站长都会遇到SEO中网站收录越来越少的问题,今天小编为你提供几个意见,为你解释网站停止收录或网站收录大幅下降的原因。1.网站做出大幅修改大的变化,如果网站将会产生很多死链接,将导致不良影响百度SEO搜索引擎(…

    2023年3月11日
    00
  • 网站建设中的百度算法有哪几类。

    我们在做SEO优化的时候我们经常会听说百度算法,网站的一些常规优化,以及不必要的操作都会影响网站在搜索引擎中的排名。所以当SEO人员在进行网站搜索引擎优的时候,最好根据自己所需要优化的关键词,进行百度算法的熟…

    2022年10月30日
    012
  • 教你在网站建设中改善用户体验的几个要素。

    在网站建设中改善用户体验的几个要素 在当今的数字市场上,消费者在网上购物的选择比以往任何时候都多。几乎所有能想到的产品或服务都唾手可得,这意味着每一家在线企业都必须找到一种方法,说服消费者选择它们,而…

    2022年11月14日
    00
  • seo标题优化的意义和存在价值

    对于很少关注网络营销的朋友来说,对于SEO确实是一个很模糊的概念,那么seo标题优化的意义是什么吗?SEO的存在价值是什么呢?下面给大家介绍一下。 seo标题优化的意义 1、一个关键词就是一个市场,就是一个客户人群需…

    2022年5月22日
    0283

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息