怎样在Apache中用shell脚本提交网站404死链

怎样在Apache中用shell脚本提交网站404死链?百度站长平台提供的死链提交器材,可将网站存在的死链(条约死链、404页面)进行提交,可迅速删除死链,协助网站SEO优化。在提交死链的文件中逐一手动填写死链的话太困难,工作中咱们提倡复杂自动化,所以本文咱们一起交流分享Apache服务中经过shell脚本清理网站死链,便于咱们提交。

SEO优化

1.配置Apache记载搜寻引擎

Apache是目前网站建设为主流的web服务,可是apache的日志文件承认是不记载百度、google等各大搜寻引擎的爬取程序的,所以首先需求咱们配置Apache的配置文件。

找到Apache的配置文件httpd.conf,在配置文件中找到底下两行:

CustomLog "logs/access_log" common #CustomLog "logs/access_log" combined

承认选用的是common,这里咱们只需求将common这一行前方加#说明注解掉,而后将combined这一行前的#去掉能够。而后保存重启Apache服务。

注:假如你的服务器上增加了多个站点,每个站点有独自的配置文件,则咱们只需求在相应站点的配置文件中配置CustomLog项能够,例如:

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org" ServerName www.chanzhi.org ServerAlias chanzhi.org ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log" CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined SetOutputFilter DEFLATE Options FollowSymLinks ExecCGI Require all granted AllowOverride All Order allow,deny Allow from all DirectoryIndex index.html index.php

底下是配置前后的网站日志记载格式:

配置前:

配置后:

SEO优化

2.编写shell脚本

咱们经过shell脚本获得网站日志中指定爬虫的抓取记载,而后汇总到一个文件中,便于晚期运用。代码如下,譬如保存为deathlink.sh

#!/bin/bash#初始化变量#定义蜘蛛UA信息(承认是百度蜘蛛)UA='+http://www.baidu.com/search/spider.html' #前一天的日期(apache日志)DATE=`date +%Y%m%d -d "1 day ago"` #定义日志路径logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log #定义死链文件储存路径deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt #定义网站拜访位置website=http://www.chanzhi.org #分析日志并保存死链数据for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`do grep -q "$url" ${deathfile} || echo ${website}${url} <<${deathfile}done

众人在运用该脚本时,根据自身服务器状况调节下路径和字段能够,而后实行脚本,:

bash deathlink.sh

3.提交死链

实行上面脚本时辰,就会在指定目次下生成包括全部获得的404页面链接的文件,每个连接占一行。例如:

后在站长平台提交死链页面中,填写自身的死链文件位置能够,例如:

百度在审核经过之后,会将依然收录的失效链接删除,以防止失效页面链接对网站形成不良的影响。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/39103.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年5月30日 21:05
下一篇 2022年5月30日 21:05

相关推荐

  • 为什么有时候原创内容百度不收录

    为什么有时候原创内容百度不收录?信任这个问题很多做SEO的都碰到过,自身写的原创文章搜寻引擎不收录,可是偶尔候自身写的收走录被别的网站复制转载后,别的网站收录了,自身的收走录,这是一个很蛋疼的问题。 1、…

    2022年6月1日
    0234
  • 如何让百度快速抓取网站图片?

    很多seoer都会发现这样一个问题,现在百度对于图片的抓取效应还是很弱的,所以有关图片方面的优化技巧,现在探讨的还不够多。然而随着百度智能化水平的提升,其中对图片的抓取能力进步显著,因此在这个背景下,研究…

    2022年6月3日
    0525
  • 如何判断一个网站的seo做的怎么样。

      Seo几年也算是一个比较热门的行业,很多完全不懂行的人参加简单的seo培训就觉得自己的技术已经很不错了,然后就做了很多网站的优化,那么怎么评价他们的网站seo做的怎么样呢?其实我们可以参考一下几个方面:&n…

    2022年3月12日
    0192
  • 交易型的搜索关键词布局。

      一个网站的关键词,分为三种:导航型搜索关键词、信息型搜索关键词和交易型搜索关键词。这篇文章,我们来说一说交易型的搜索关键词布局。    一、搜索这类词的目的是什么    一般来说,搜索这类…

    2022年3月12日
    0186
  • 五个关键词让你成为SEO高手。

      两年前一直有个问题想不明白,为什么有的SEO能做得很好,堪称大神,而有的人却被迫转行。行业中也有一些人物令我崇拜不已,到今天我才发现,原来他们也是普通人变成,下边我来浅析下所谓的SEO高手是怎样炼成的…

    2022年3月12日
    0340
  • 【SEO 体系】算法-分词技术

    索引库树立分词索引库树立查找引擎的资料库查找引擎提早将它以为重要的页面信息下载好,放在数据库中,这个供用户查询相关成果的数据库就是查找引擎的资料库。不同查找引擎的数据库也是不一样的,一般是几十到100亿…

    2022年5月31日
    0324
  • 中小型企业站点SEO基础指南。

      笔者现在为各中小型企业网站提供一份基础SEO指南,旨在希望每一个企业在做SEO的时候,能少走不少弯路。假如你的网站不是处在竞争特别的激烈的行业之中,或者说你期望做的关键词排名竞争力不大,那么这份指南提…

    2022年3月12日
    0297
  • 网站内部优化的一些可操作点。

      网站的内部,要做一些符合seo的优化,这样才能更加有利于蜘蛛的爬取和收录。   那么,网站的内部优化可以如何操作呢?    一、杜绝重复页面    重复页面,也就是内容一模一样的页面,而且首页…

    2022年3月12日
    0196

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息