怎样在Apache中用shell脚本提交网站404死链

怎样在Apache中用shell脚本提交网站404死链?百度站长平台提供的死链提交器材,可将网站存在的死链(条约死链、404页面)进行提交,可迅速删除死链,协助网站SEO优化。在提交死链的文件中逐一手动填写死链的话太困难,工作中咱们提倡复杂自动化,所以本文咱们一起交流分享Apache服务中经过shell脚本清理网站死链,便于咱们提交。

SEO优化

1.配置Apache记载搜寻引擎

Apache是目前网站建设为主流的web服务,可是apache的日志文件承认是不记载百度、google等各大搜寻引擎的爬取程序的,所以首先需求咱们配置Apache的配置文件。

找到Apache的配置文件httpd.conf,在配置文件中找到底下两行:

CustomLog "logs/access_log" common #CustomLog "logs/access_log" combined

承认选用的是common,这里咱们只需求将common这一行前方加#说明注解掉,而后将combined这一行前的#去掉能够。而后保存重启Apache服务。

注:假如你的服务器上增加了多个站点,每个站点有独自的配置文件,则咱们只需求在相应站点的配置文件中配置CustomLog项能够,例如:

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org" ServerName www.chanzhi.org ServerAlias chanzhi.org ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log" CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined SetOutputFilter DEFLATE Options FollowSymLinks ExecCGI Require all granted AllowOverride All Order allow,deny Allow from all DirectoryIndex index.html index.php

底下是配置前后的网站日志记载格式:

配置前:

配置后:

SEO优化

2.编写shell脚本

咱们经过shell脚本获得网站日志中指定爬虫的抓取记载,而后汇总到一个文件中,便于晚期运用。代码如下,譬如保存为deathlink.sh

#!/bin/bash#初始化变量#定义蜘蛛UA信息(承认是百度蜘蛛)UA='+http://www.baidu.com/search/spider.html' #前一天的日期(apache日志)DATE=`date +%Y%m%d -d "1 day ago"` #定义日志路径logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log #定义死链文件储存路径deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt #定义网站拜访位置website=http://www.chanzhi.org #分析日志并保存死链数据for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`do grep -q "$url" ${deathfile} || echo ${website}${url} <<${deathfile}done

众人在运用该脚本时,根据自身服务器状况调节下路径和字段能够,而后实行脚本,:

bash deathlink.sh

3.提交死链

实行上面脚本时辰,就会在指定目次下生成包括全部获得的404页面链接的文件,每个连接占一行。例如:

后在站长平台提交死链页面中,填写自身的死链文件位置能够,例如:

百度在审核经过之后,会将依然收录的失效链接删除,以防止失效页面链接对网站形成不良的影响。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/39103.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年5月30日 21:05
下一篇 2022年5月30日 21:05

相关推荐

  • 网站优化应该如何转变赚钱思维

    最赚钱的行业是什么? 每个行业都是有着一种饱和的状态,很多人都会发现2赚钱越来越难了,下半年以来,工商国家政府都在对行业进行规范,很多赚钱的行业变得不赚钱了,很多的暴利行业也变得暴力了,对于这种情况来…

    2022年5月29日
    0278
  • 分析中国失衡的SEO职场。

      随着百度搜索引擎的不断更新算法,SEO行业将走向越来越规范。时下360的搜索份额越来越大,搜狗引擎被收购飘忽不定,国内的搜索市场将迎来一场新的洗盘。纵观网络营销的各种职业,SEO是入门门槛比较低的一个行业…

    2022年3月12日
    0352
  • 搜索引擎对外部链接的理解。

    搜索引擎对反向链接理解大致分为两点: 页面得到的外部链接数越多,其重要性就越大,外部链接权重就越高,在同行业或说别的网站在做这个关键词的时候,在其他因素同等的情况下,外部链接高的站关键词排名就相对比其…

    2022年3月12日
    0183
  • 网站关键词排名优化怎么做才能够上榜首

    关于一个网站来说,只需其关键词排名在搜索引擎前几位才有或许招引阅读者的目光然后构成点击。一个没有点击流量的网站,即便做得再完美也是白费得。那么怎么才能够让网站关键词排名上百度或许其他搜索引擎的主页呢…

    2022年6月1日
    0255
  • [seo诊断]网站怎么诊断?网站诊断的八种方法

    翻文章很多人在找诊断网站的方法,看来大家的网站大大小小应该出现好多状况,那根据大家的需求,我分享几种可以快速诊断的方法交给大家 1、网站翻开速度 域名解析时间,衔接服务器时间,下载图片时间。这些可以在自…

    2022年6月2日
    0314
  • SEO优化团队由哪些人员构成

    SEO优化团队由哪些人员构成?SEO行业近些年来不妨说是风生水起,因为跟着网页的迅速发展,不少企业都起始在网络上大展拳脚,那么SEO优化团队的重要性这个时辰就呈现走出了。因为SEO优化就意味着可否为企业带来大量…

    2022年5月31日
    0312
  • 百度seo和google seo算法比较。

    1、相同点 百度、google包括其他的soso、搜狗、360等所有的搜索引擎的排名算法都无外乎三方面:网站内容、网站内外链接、用户行为。 百度如此,google也是如此,不同的是不同的搜索引擎对三点的侧重点有所不同,但…

    2022年3月12日
    0216
  • 挖掘网站相关关键词的方法

    1、百度下拉框和相关搜索 通过下拉框和相关搜索搜集长尾词的方法是一级一级搜集,比如搜索SEO,然后再搜索SEO的下拉框里面的SEO优化。下拉框和相关搜索往下搜集三个层级,三个层级以外的长尾词相关性比较低,百度相…

    2022年5月28日
    0257

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息