搜索引擎工作过程之爬行和抓取。

搜索引擎优化SEO被网站推广人士炒得火热,大家纷纷使出浑身解数进行SEO的推广工作。但是,你真的知道搜索引擎是怎么工作的吗?知道了搜索引擎的工作原理就会更利于SEO工作。

搜索引擎的工作过程大致可以分成三个阶段:

搜索引擎工作过程.png

一、爬行和抓取:搜索引擎蜘蛛通过跟踪链接访问网页,获得页面HTML代码存入数据库。

二、预处理:索引程序对抓取来的页面数据进行文字提取、中文分词、索引等处理,以备排名程序调用。

三、排名:用户输入关键词后,排名程序调用索引库数据,计算相关性,然后按一定格式生成搜索结果页面。

本篇先对搜索引擎工作的第一步“爬行和抓取”作详细说明。

1、蜘蛛

搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider),也称为机器人(bot)。

搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后,服务器返回HTML代码,蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度,都使用多个蜘蛛并发分布爬行。

蜘蛛访问任何一个网站时,都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录,蜘蛛将遵守协议,不抓取被禁止的网址。

和浏览器一样,搜索引擎蜘蛛也有标明自己身份的代理名称,站长可以在日志文件中看到搜索引擎的特定代理名称,从而辨识搜索引擎蜘蛛。常见的搜索引擎蜘蛛有:百度蜘蛛、雅虎中国蜘蛛、雅虎英文蜘蛛、Google蜘蛛、微软Bing蜘蛛、搜狗蜘蛛、搜搜蜘蛛、有道蜘蛛。

2、跟踪链接

为了抓取网上尽量多的页面,搜索引擎蜘蛛会跟踪页面上的链接,从一个页面爬到下一个页面,就好像蜘蛛在蜘蛛网上爬行那样,这也就是搜索引擎蜘蛛这个名称的由来。

整个互联网是由相互链接的网站及页面组成的。从理论上说,蜘蛛从任何一个页面出发,顺着链接都可以爬行到网上的所有页面。当然,由于网站及页面链接结构异常复杂,蜘蛛需要采取一定的爬行策略才能遍历网上所有页面。

最简单的爬行遍历策略分为两种,一种是深度优先,另一种是广度优先。

所谓深度优先,指的是蜘蛛沿着发现的链接一直向前爬行,直到前面再也没有其他链接,然后返回到第一个页面,沿着另一个链接再一直往前爬行。

广度优先是指蜘蛛在一个页面上发现多个链接时,不是顺着一个链接一直向前,而是把页面上所有第一层链接都爬一遍,然后再沿着第二层页面上发现的链接爬向第三层页面。

其实,无论是深度优先还是光度优先,只要给蜘蛛足够的时间,都能爬完整个互联网。在实际工作中,蜘蛛的带宽资源、时间都不是无限的,也不可能爬完所有页面。实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分。

3、吸引蜘蛛

由此可见,虽然理论上蜘蛛能爬行和抓取所有页面,但实际上不能、也不会这么做。SEO人员要想让自己的更多页面被收录,就要想方设法吸引蜘蛛来抓取。既然不能抓取所有页面,蜘蛛所要做的就是尽量抓取重要页面。哪些页面被认为比较重要呢?有几方面影响因素。

1、网站和页面权重。质量高、资格老的网站被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,所以会有更多内页被收录。

2、页面更新度。蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,蜘蛛也就没有必要经常抓取。如果页面内容经常更新,蜘蛛就会更加频繁地访问这种页面,页面上出现的新链接,也自然会被蜘蛛更快地跟踪,抓取新页面。

3、导入链接。无论是外部链接还是同一个网站的内部链接,要被蜘蛛抓取,就必须有导入链接进入页面,否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被爬行深度增加。

4、与首页点击距离。一般来说网站上权重最高的是首页,大部分外部链接是指向首页的,蜘蛛访问最频繁的也是首页。离首页点击距离越近,页面权重越高,被蜘蛛爬行的机会也越大。

4、地址库

为了避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现还没有抓取的页面,以及已经被抓取的页面。

地址库中的URL有几个来源:

(1)人工录入的种子网站。

(2)蜘蛛抓取页面后,从HTML中解析出新的链接URL,与地址库中的数据进行对比,如果是地址库中没有的网址,就存入待访问地址库。

(3)站长通过搜索引擎网页提交表格提交进来的网址。

蜘蛛按重要性从待访问地址库中提取URL,访问并抓取页面,然后把这个URL从待访问地址库中删除,放进已访问地址库中。

大部分主流搜索引擎都提供一个表格,让站长提交网址。不过这些提交来的网址都只是存入地址库而已,是否收录还要看页面重要性如何。搜索引擎所收录的绝大部分页面是蜘蛛自己跟踪链接得到的。可以说提交页面基本上是毫无用处的,搜索引擎更喜欢自己沿着链接发现新页面。

  5、爬行时的复制内容检测

检测并删除复制内容通常是在下面介绍的预处理过程中进行的,但现在的蜘蛛在爬行和抓取文件时也会进行一定程度的复制内容检测。遇到权重很低的网站上大量转载或抄袭内容时,很可能不再继续爬行。这也就是有的站长在日志文件中发现了蜘蛛,但页面从来没有被真正收录过的原因。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/60223.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年8月21日 17:43
下一篇 2022年8月21日 17:43

相关推荐

  • 如何在短时间内提升网站排名。

    一、清楚明白的知道用户的需求 在进行SEO优化之前,我们需要清楚地了解用户的需求,了解用户最关心的是什么,这样我们才能更好地优化站点,获得良好的排名。企业网站要做SEO推广,也要研究清楚关键词,因为不同的关…

    2022年8月20日
    0108
  • 结合案例做好SEO搜索引擎优化,从实践中得优化经验。

    这是一个很很一般陈词滥调的标题,没有任何的吸引力,可是真实能做好的草根站长估量少之又少,我问我一个做了多年草根站长的朋友,我说怎么做好SEO查找引擎优化,他给我的答复是很难,规模太广了,无法答复,所以我…

    2023年2月14日
    06
  • 网站优化、搜索引擎优化“度”如何掌握?seo优化公司有妙招。

    凡事都要控制在一定程度上,过了就不好了。当他们极端聪明的时候,他们就会变得极端。这些都是真理!SEO也不例外。如何避免网站过度优化?网站优化的首要选择是掌握好的程度。如果网站不够优化,排名效果就不理想。…

    2023年2月24日
    00
  • 5个操作让你的网站SEO优化长期拥有排名。

    在SEO优化的过程中,我们每天都面临着搜索引擎算法的调整以及信息社会的快速变化。事实上,每个人都对搜索引擎优化的长期发展都有很多困惑。 因此,基于长时间的优化工作,我们必须多思考,考虑更多的问题。 1、定…

    2022年7月1日
    0177
  • 这几个建议。

    点瑞网络是一家主营:SEO,网站优化,关键词排名优化,百度搜索引擎优化,整站优化服务公司,目前已服务数百家企业,精于数据分析,整合推广,流量排名提升,转化率提升!是您开展网络营销推广的不二之选! 本文所谈的内容…

    2022年8月24日
    093
  • 苏州SEO网站收录和反链哪个数据更为重要。

    SEO是门高深的学问,有些人摸透了技巧,排名蒸蒸日上;有些人,不断浏览攻略,反反复复修改,排名仍旧止步不前。很多时候,造成差异的不是攻略与技巧,反而是个人的经验总结。 老站长都知道,站长资源网站排名在SEO…

    2022年8月20日 SEO操作
    0125
  • 想提高网站排名应该怎么做。

    先来看看做网站SEO优化内容好处有哪些? 1、对于搜索引擎来讲 高质量的内容,原创的内容更易被搜索引擎抓取,并将内容置于优质库中。内容体现出的关键词排名概率会更高,网站获得点击的概率也会更大。 2、对于用户来…

    2022年8月20日
    0116
  • 网站总是不收录?分享搜索引擎不收录文章的原因及应对措施。

    当运行一个新的网站时,我们会遇到网站没有被搜索引擎收录的情况,那么作为一个SEO优化工作者,我们应该如何解决这个问题?今天,小编将与您分享网站不收录在搜索引擎中的几个重要原因。快来一起看看吧。 1、网站传…

    2023年2月18日
    00

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息