怎样在Apache中用shell脚本提交网站404死链

怎样在Apache中用shell脚本提交网站404死链?百度站长平台提供的死链提交器材,可将网站存在的死链(条约死链、404页面)进行提交,可迅速删除死链,协助网站SEO优化。在提交死链的文件中逐一手动填写死链的话太困难,工作中咱们提倡复杂自动化,所以本文咱们一起交流分享Apache服务中经过shell脚本清理网站死链,便于咱们提交。

SEO优化

1.配置Apache记载搜寻引擎

Apache是目前网站建设为主流的web服务,可是apache的日志文件承认是不记载百度、google等各大搜寻引擎的爬取程序的,所以首先需求咱们配置Apache的配置文件。

找到Apache的配置文件httpd.conf,在配置文件中找到底下两行:

CustomLog "logs/access_log" common #CustomLog "logs/access_log" combined

承认选用的是common,这里咱们只需求将common这一行前方加#说明注解掉,而后将combined这一行前的#去掉能够。而后保存重启Apache服务。

注:假如你的服务器上增加了多个站点,每个站点有独自的配置文件,则咱们只需求在相应站点的配置文件中配置CustomLog项能够,例如:

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org" ServerName www.chanzhi.org ServerAlias chanzhi.org ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log" CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined SetOutputFilter DEFLATE Options FollowSymLinks ExecCGI Require all granted AllowOverride All Order allow,deny Allow from all DirectoryIndex index.html index.php

底下是配置前后的网站日志记载格式:

配置前:

配置后:

SEO优化

2.编写shell脚本

咱们经过shell脚本获得网站日志中指定爬虫的抓取记载,而后汇总到一个文件中,便于晚期运用。代码如下,譬如保存为deathlink.sh

#!/bin/bash#初始化变量#定义蜘蛛UA信息(承认是百度蜘蛛)UA='+http://www.baidu.com/search/spider.html' #前一天的日期(apache日志)DATE=`date +%Y%m%d -d "1 day ago"` #定义日志路径logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log #定义死链文件储存路径deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt #定义网站拜访位置website=http://www.chanzhi.org #分析日志并保存死链数据for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`do grep -q "$url" ${deathfile} || echo ${website}${url} <<${deathfile}done

众人在运用该脚本时,根据自身服务器状况调节下路径和字段能够,而后实行脚本,:

bash deathlink.sh

3.提交死链

实行上面脚本时辰,就会在指定目次下生成包括全部获得的404页面链接的文件,每个连接占一行。例如:

后在站长平台提交死链页面中,填写自身的死链文件位置能够,例如:

百度在审核经过之后,会将依然收录的失效链接删除,以防止失效页面链接对网站形成不良的影响。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/39103.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年5月30日 21:05
下一篇 2022年5月30日 21:05

相关推荐

  • 如何向大站学习做seo。

      所有的工作,都是一个学习型的磨练平台,而SEO更具这个特点。作为一个在中国发展不足10年的行业,SEO现在正如火如荼。国内互联网指数般的增长导致了行业内强烈的需求,你想想每个网站都需要SEO,国内每天增加5…

    2022年3月12日
    0326
  • SEO一般有哪些步骤或环节。

    搜索引擎优化SEO一般有哪些步骤或环节? SEO并不是简单的几个秘诀或几个建议,而是一项需要足够耐心和细致的脑力劳动。大体上,SEO包括六个环节: 1、关键词分析(也叫关键词定位) 这是进行SEO最重要的一环,关键词…

    2022年3月12日
    0227
  • SEO优化怎么运用到语音搜索中

    SEO优化怎么运用到语音搜索中?今天我们来讲讲,如何做语音搜索的SEO优化。 写这一篇文章是因为,之前在美国的时候,发现很多老美,很多都不通过关键词输入来寻找特定的答案,而是通过语音传递来搜索。 这种场景,…

    2022年6月1日
    0237
  • 从几个关键点突破,让电商企业SEO不再棘手。

      对每一个做电商的企业来说,做seo都是必备的事情,sem经济压力太大,如果没有雄厚的资金是无法达到最佳的效果的,选择seo便成了中小型电商企业的一道良径。很多人在做SEO的时候有这样那样的误区,下面笔者就跟…

    2022年3月12日
    0216
  • 站外seo技巧:在交换友情链接的时候需要注意

    交换友情链接的注意事项。建立友情链接时,必须注意网站的搜索引擎优化。由于链接在网站排名中占据着非常重要的位置,这也是搜索引擎优化难以实现的目标。因为有相当多的主观原因。在链接交换过程中,许多人容易出…

    2022年6月2日
    0285
  • 浅谈个人的SEO职业之路。

      SEO是一个神奇的职业,在中国起步不到10年时间,却萌生了一大片的SEO外包,SEO培训产业,一批又一批的人涌了进来,造成行业空前繁荣的盛况。作为一个从业两年有余的工作者,我认为可以分三个阶段来规划自己的SE…

    2022年3月12日
    0250
  • 几大搜索引擎的网站登录入口。

    以下是登录几个重要搜索引擎的网站登录入口地址: 百度:http://www.baidu.com/search/url_submit.html Google:http://www.google.com/intl/zh-CN/add_url.html 中国雅虎:http://search.help.cn.yahoo.com/h4_4.ht…

    2022年3月12日
    0312
  • 我可以自己做SEO吗?

    很多初学网络的朋友刚开始接触营销推广就会在网上找一些基础的SEO推广教程,看完教程之后认为自己也可以成为一名SEOer。那么对于SEO自己一个人是否可以完成,下面我们就来分析一下吧。 SEO的世界是很复杂的,但大多…

    2019年3月15日
    0450

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息