什麽是搜索引擎蜘蛛抓取份额?如何提高抓取份额

什麽是搜索引擎蜘蛛抓取份额?最近，google新的seo代言人Gary Illyes在google官方博客中，讨论搜索引擎抓取份额相关问题。这对於大中型网站来说，是一个非常重要的seo问题，因为有些网站会因为这一问题而导致网站自然流量出现瓶颈。下面，小编将详细分析相关内容，这些内容不但跟google有关，对其他搜索引擎同样适用。

什麽是搜索引擎蜘蛛抓取份额?

搜索引擎蜘蛛抓取份额指的是，搜索引擎蜘蛛花在网站上的抓取页面的总时间是相对固定的，不会无限制地抓取网站所有页面。而影响抓取份额的因素主要有两个：抓取需求和抓取速度限制。

抓取份额是由什麽决定的?

☆ 抓取需求

抓取需求值得就是搜索引擎「想」要抓取特定网站多少页面，而这也有两个因素影响。一、页面权重，页面权重越高，搜索引擎就会越喜欢抓取你的页面;二、网站内容太久没有更新，搜索引擎会觉得这个网站已经「荒废」，那麽就会逐渐减少抓取你的网站的次数。

☆ 抓取速度限制

搜索引擎是不会为了抓取更多页面，而把人家网站服务器拖垮的，所以对网站抓取速度都会设定一个上限，这也是服务器能承受的上限。如果服务器反应速度够快，那麽抓取速度限制就会上调一点，加快抓取;反之，抓取速度就会减免，甚至停止抓取。

总之一句话，网站权重高，页面内容质量高，页面够多，服务器速度够快，那麽搜索引擎抓取的份额就会越大。

搜索引擎蜘蛛抓取份额会影响哪些网站?

☆ 小网站：不必要担心抓取份额

一般来说，小网站页面数比较小，所以搜索引擎蜘蛛抓取的页面再少，每天至少都能抓取几百个页面，一般大概半个月到一个月左右就能全站抓取以便，所以一个网站几千个页面，甚至是数万个页面都不用担心抓取份额的事情。

从图上可以看出，这种seo每天一贴的小网站，页面抓取频次和抓取时间都没有太大的变化，说明了搜索引擎没有抓完份额，所以站长不用担心。

☆ 大中型网站：可能需要抓取份额

几万页以下的小型网站可以不用担心抓取份额的问题，但是几十万页以上的大中型网站可能就要考虑这个问题。例如，网站有1千万的页面，而搜索引擎每天只能抓几万个页面，那麽如果要把网站抓一遍可能需要几个月甚至更长时间，这就意味着有些重要页面可能没办法被抓取，所以就没排名或者不能及时被更新。

所以要想网站页面被及时、充分抓取，就要保证服务器够快，页面够小。如果网站有海量高质量数据，就要提高页面加载速度，提高抓取速度限制，从而提高抓取份额。

从图可以看到，抓取时间改善会导致抓取频次上升，使搜索引擎浏览网站的速度加快，更多页面被抓取收录。

另外，中大型网站还要考虑不要把有限的抓取份额浪费在无意义的页面上，导致其他重要的页面没有机会被抓取。

怎样节省搜索引擎抓取份额

1、降低页面文件大小，提高服务器速度，优化数据库，降低抓取时间

2、尽量避免不要把抓取份额浪费在无意义的页面上

3、某些情况下，使用链接nofollow属性节省抓取份额。

· nofollow属性在一定程度上可以控制网站权重流动和分配的，精心设计的nofollow会使无意义的页面权重降低，提升重要页面权重。

总结：对於大型网站，如果想要提高搜索引擎蜘蛛份额，首先要确保服务器的速度够快，页面够小，其次就是不要把抓取份额浪费在无意义的页面上。当然，如果是小型网站就无需要担心抓取份额的事情。