详细罗列出各个搜索引擎蜘蛛日志及服务器常见状态码含义。

其实我们做SEO网站优化的一般来说都是一个全知全能的职位,因为做优化做排名影响的因素太多了,就比如我们今天要讲的课题,日志的分析如果不会分析看不懂蜘蛛的爬行轨迹,那么在优化的过程中出现问题,就很有可能思路是错的而不自知。

详细罗列出各个搜索引擎蜘蛛日志及服务器常见状态码含义(图1)

IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。

一、各大搜索引擎的蜘蛛名称:

百度(Baidu)爬虫名称(Baiduspider)

谷歌(Google)爬虫名称(Googlebot)

雅虎(Yahoo)爬虫名称(YahooSlurp)

有道(Yodao)蜘蛛名称(YodaoBot)

搜狗(sogou)蜘蛛名称(sogouspider)

MSN的蜘蛛名称:msnbot

二、IIS分析:

案例日志:61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/thread-7303-1-1.HtmlHTTP/1.1"2008450"-""Baiduspider(+http:-www-baidu-com/search/spider.htm)"

分析:

1、61.135.168.22是访问了是服务器IP为这个的网站.

2、11/Jan/2009:04:02:45表示蜘蛛爬行时间

3、GET/thread-7303-1-1.htmlHTTP,表示蜘蛛抓取了这个页面。

4、200状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。

5、8450表示此次抓取了8450个字节

6、Baiduspider(+http:-www-baidu-com/search/spider.htm)表示百度蜘蛛的名称

三、基本状态码:

200:请求已经完成,蜘蛛访问页面正常

301:已经移动,永久重定向

302:临时重定向

304:蜘蛛爬取后发现,页面没有修改

305:使用代理

400:请求错误

404:找不到页面

四、IIS详细状态码含义:

100-表示已收到请求的一部分,正在继续发送余下部分。

101-切换协议。

2XX-成功服务器成功地接受了客户端请求。(只要是2XX的状态,都表示成功)

200-确定。客户端请求已成功。

201-已创建。

202-已接受。

203-非有名性信息。

204-无内容。

205-重置内容。

206-部分内容。

300-针对收到请求,服务器可执行多种操作。

301-永久移动转移,请求的内容已永久移动其他新位置。

302-临时移动转移,请求的内容已临时移动新的位置

304-未修改。自从上次请求后,请求的内容未修改过。

307-临时重定向。服务器目前从不同位置响应请求,但请求者应继续使用原有位置来进行以后的请求。

400-错误的请求。

401-访问被拒绝。IIS定义了许多不同的401错误,它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示,但不在IIS日志中显示:

401.1-登录失败。

401.2-服务器配置导致登录失败。

401.3-由于ACL对资源的限制而未获得授权。

401.4-筛选器授权失败。

401.5-ISAPI/CGI应用程序授权失败。

401.7-访问被web服务器上的URL授权策略拒绝。这个错误代码为IIS6.0所专用。

403-禁止访问:IIS定义了许多不同的403错误,它们指明更为具体的错误原因:

403.1-执行访问被禁止。

403.2-读访问被禁止。

403.3-写访问被禁止。

403.4-要求SSL.

403.5-要求SSL128.

403.6-IP地址被拒绝。

403.7-要求客户端证书。

403.8-站点访问被拒绝。

403.9-用户数过多。

403.10-配置无效。

403.11-密码更改。

403.12-拒绝访问映射表。

403.13-客户端证书被吊销。

403.14-拒绝目录列表。

403.15-超出客户端访问许可。

403.16-客户端证书不受信任或无效。

403.17-客户端证书已过期或尚未生效。

403.18-在当前的应用程序池中不能执行所请求的URL.这个错误代码为IIS6.0所专用。

403.19-不能为这个应用程序池中的客户端执行CGI.这个错误代码为IIS6.0所专用。

403.20-Passport登录失败。这个错误代码为IIS6.0所专用。

404-未找到请求的内容。

404.0-未找到文件或目录。

404.1-无法在所请求的端口上访问Web站点。

404.2-Web服务扩展锁定策略阻止本请求。

404.3-MIME映射策略阻止本请求。

405-用来访问本页面的HTTP谓词不被允许(方法不被允许)

406-客户端浏览器不接受所请求页面的MIME类型。

407-要求进行代理身份验证。

412-前提条件失败。

413-请求实体太大。

414-请求URI太长。

415-不支持的媒体类型。

416-所请求的范围无法满足。

417-执行失败。

423-锁定的错误。

500-服务器内部错误。

500.12-应用程序正忙于在Web服务器上重新启动。

500.13-Web服务器太忙。

500.15-不允许直接请求Global.asa.

500.16-UNC授权凭据不正确。这个错误代码为IIS6.0所专用。

500.18-URL授权存储不能打开。这个错误代码为IIS6.0所专用。

500.100-内部ASP错误。

501-服务器无法完成请求的功能。

502-服务器用作网关或代理服务器时收到了无效响应。

502.1-CGI应用程序超时。

502.2-CGI应用程序出错。

503-服务不可用。这个错误代码为IIS6.0所专用。

504-网关超时。

505-HTTP版本不受支持。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/219829.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
重蔚的头像重蔚管理团队
上一篇 2023年2月16日 11:27
下一篇 2023年2月16日 11:27

相关推荐

  • 今日头条会不会取代微信。

    虽然今日头条和微信都是把创作者贡献内容展示给用户,但是在方法上有本质的区别。 今日头条最大的特色就是基于人工智能搜索引擎算法对用户推荐相关内容。比如你最近关注对科技比较感兴趣,并且阅读了大量科技相关的…

    2022年7月3日
    0214
  • 网站做搜索引擎优化可超越竞争对手。

    绝大多数网站的访问量都来自搜索引擎,如果不做搜索引擎优化,显然行业竞争对手很容易超越。 这似乎不是问题,但我们必须明白,首先,我们可以瞄准,但不能盲目瞄准。例如,在传统行业,减肥是一开始的关键目标。我…

    2023年3月1日
    00
  • 搜索引擎优化不仅仅是发送外链。

    做搜索引擎优化不仅仅是发送链,那么什么是搜索引擎优化?在很多人眼里,SEO从业者几乎是外链专员的代名词。SEO从业者的工作内容是什么?是不是真的只是修改网站标题和元标签,然后自己去扔链子和原创、伪原创的文…

    2023年2月21日
    00
  • 今日分享服务器在线测速。

    服务器在线测速是一种评估网络连接速度和性能的方法,通过测量数据传输的延迟、丢包率等指标来了解服务器的性能表现。 服务器测速工具简介 服务器测速工具是一种用于测试网络连接速度和性能的软件,它可以帮助我们…

    2024年7月1日
    00
  • 小编教你服务器smp技术。

    SMP(对称多处理)技术是一种服务器架构,允许多个处理器共享同一内存和系统资源,提高数据处理效率。 SMP(对称多处理) 1、简介 SMP(Symmetric MultiProcessing)是一种多处理器的计算机架构,它的设计目标是通…

    2024年6月27日
    00
  • 运用搜索引擎优化与竞价排名实现“双赢式”网络推广。

    一、创建自己的网站:1、如何证明产品质量(大量的客户案例和见证,相关证书或有名机构的荣誉)。2、如何反映产品价值(为什么客户选择你)。3、网站应有明确的联系方式和地址,以显示公司实力(公司环境、精英团队…

    2023年2月20日
    00
  • 教你定时任务在两台服务器上运行。

    定时任务可以通过设置crontab在两台服务器上运行。在每台服务器上安装cron服务,然后编辑crontab文件,添加需要执行的任务和执行时间。这样,定时任务就可以在指定的时间在两台服务器上自动执行了。 两台服务器如何…

    2024年6月26日
    00
  • 分享如何让搜索引擎喜欢经常青睐我们的网站。

    众所周知,企业网站建设完成后,有必要对该网站进行营销推广。仅搜索引擎就有两种营销推广方法。一是直接在百度、360、谷歌等搜索引擎中开设账户进行竞价。这种投标方法相对昂贵。还需要了解百度竞价的操作。然后还…

    2023年2月19日
    01

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息