卢松松博客

批量检测被百度收录的死链的方法

 人参与 | 时间:2015年02月27日 07:45

前段时间服务器被入侵,挂了很多博彩之类的黑页,而且全部被百度收录。

现在把漏洞补好了,但删除黑页文件以后成了死链,要怎么让百度删除收录呢?

在网上找了一下,似乎只有检测网址是否被收录的工具,而没有检测收录的是不是死链的工具。

自己理清了下思路,找办法找出了所有被收录的死链,并写下这篇文章。

不知道有没有更好的方法,大家可以告诉我,先分享给大家,如果有大神请忽视或者告诉我更好的方法,一起学习交流吧。

下面教程开始

先在百度找到xenu可以模拟爬虫爬取所有连接,我下载了个汉化版。

我们先用这个工具查询所有被收录的页面。

打开软件,填入简版百度site网站地址,之所以用简版是可以减少链接查询时间和内容。(请把xxx.bizcn.com换成你的网址)

http://www.baidu.com/s?ie=utf-8&tn=baidulocal&wd=site%3Axxx.bizcn.com

批量检测被百度收录的死链的方法 SEO推广 第1张

等待检测完成。

批量检测被百度收录的死链的方法 SEO推广 第2张

点击导出为制表符分隔的文件。

批量检测被百度收录的死链的方法 SEO推广 第3张

导出的文件,我们可以看到格式是:网址+空格+状态码

批量检测被百度收录的死链的方法 SEO推广 第4张

那么写一个正则,把需要的网址提取出来就行,比如www.baidu.com下的404页面就是

/http:\/\/www.baidu.com(.*?)\s404/i

(以http://www.baidu.com开头,\s代表空格,404,/i代表匹配大小写)

不会正则怎么办?

批量检测被百度收录的死链的方法 SEO推广 第5张

为了方便大家,我把文件作了修改,大家只要把head改成标致性开头,state改成状态码就行,file改成导出的文件路径就行。

head怎么改,举个例子,

你的网站是http://www.baidu.com/abc.html,那么你就写http://www.baidu.com/

你的网站是http://abc.baidu.com/abc.html,那么你就写http://abc.baidu.com/

把正则写入php,在php环境下运行get.php。那么结果就出来了。

批量检测被百度收录的死链的方法 SEO推广 第6张

这时你只需要全选,复制到一个txt文件,上传到网站空间,再到百度站长平台死链提交填入文件路径就行就可以。

批量检测被百度收录的死链的方法 SEO推广 第7张

我们知道,思路是通过爬取找出所有被收录的链接,然后按条件列出来而已。

这样的话,只要把开头输入的site网址改一下,也可以查询其他搜索引擎的收录。

把正则改一下,可以获得如标题等其他内容。在此就不一一叙述。

原创:http://blog.vg欢迎来小博逛逛

顶: 5踩: 4

来源:,欢迎分享,(QQ/微信:13340454)

原文地址:http://lusongsong.com/reed/1329.html

必填

选填

选填

◎已有 111 人评论,微信搜:QQ13340454

1楼手机知识  2016-08-31 10:28:52
还是看不懂,什么正则?说的太笼统了
顶: 0踩: 0 回复
1楼阆苑博客  2016-09-06 16:11:22
最简单的就是,导出为制表符分隔的文件,复制到excel里面,通过筛选工具,选出带有404的,然后复制就好了
顶: 2踩: 0 回复
1楼穿衣搭配  2016-09-12 01:39:21
谢谢你的指教,在百度用site命令查了很多死链,再次多谢了!
顶: 0踩: 0 回复
2楼网扑蜘  2016-04-12 10:02:13
最简单的就是,导出为制表符分隔的文件,复制到excel里面,通过筛选工具,选出带有404的,然后复制就好了。
顶: 4踩: 0 回复
2楼网扑蜘  2016-04-12 10:07:52
还有这就是这个xenu工具,耗费网站资源,用于阿里的免费网站的话,几分钟就可以关闭他的网站,也是一个黑免费网站的手段。
顶: 1踩: 0 回复
3楼abcd9.com  2016-02-29 10:53:31
这个问题不用那么麻烦,写个工具抓取所有site,然后判断是否404即可。xenu抓取的是有入口的死链,但如果已存在收录死链没有入口,那就看不到了
顶: 1踩: 0 回复
4楼季节网  2015-10-17 20:54:27
方法很好用 导出制表符文件后 可以把文件中的内容复制到excel中 筛选出404页面 然后保存到txt文件 在上传给百度站长工具 这样就比较省事了
顶: 1踩: 0 回复
4楼穿衣搭配  2016-09-12 01:34:31
是啊,这么简单的事还要写什么正则,又要在php环境运行,看的我这个新手一头雾水啊
顶: 0踩: 0 回复
5楼失控  2015-09-09 14:41:18
找了好久这个工具中文版也没有
顶: 0踩: 0 回复
6楼站长平台  2015-08-27 09:39:42
@101楼 你就为了一个IP来的吗
顶: 0踩: 0 回复
7楼帅哥图片大全  2015-08-24 14:07:51
每天都来松松博看看,回复下你的文章,还可以额外带给我来些IP!何乐而不为呢?
顶: 0踩: 1 回复
8楼aserain  2015-08-16 13:38:44
将导出结果直接全选复制到excel,然后排序后就能筛选出自己的死链地址了,不用那么麻烦的去弄正则!
顶: 0踩: 0 回复
9楼妹子最多的大学排行  2015-07-15 21:30:22
作者的域名好屌啊。VG是哪个国家的?
顶: 0踩: 0 回复
10楼心肺复苏模拟人  2015-06-27 09:37:37
保存TXT 直接电子表格打开
顶: 0踩: 0 回复
11楼情侣论坛  2015-06-17 23:16:41
批量检测被百度收录的死链的方法
顶: 0踩: 0 回复
12楼44秒网  2015-05-12 12:08:10
百度到底怎么啦,之前我的域名已经做过别的内容站,但一直不懂方法如何提交死链,现在有这个方法真是太好了,谢谢站长
顶: 1踩: 0 回复
13楼jielichang  2015-05-07 17:43:17
我的网站也是被挂过博彩类,受教了
顶: 0踩: 0 回复
14楼汇通网  2015-04-27 13:54:53
这个工具会用不会导出,今天看了受用的很·······
顶: 0踩: 0 回复
15楼小seo  2015-04-17 16:31:33
怎么把检测出来的死链导出excel表格?在线等
顶: 0踩: 0 回复
15楼心肺复苏模拟人  2015-06-27 09:37:37
保存TXT 直接电子表格打开
顶: 0踩: 0 回复
16楼鸡蛋美术  2015-04-14 11:32:05
怪不得有这么多的死链接呢

顶: 0踩: 0 回复
17楼357  2015-03-16 09:47:32
基本上所有站长工具都有死链提交功能
顶: 0踩: 0 回复
18楼357  2015-03-16 09:46:34
基本上所有站长工具都有死链提交的功能
顶: 0踩: 0 回复
19楼深圳住宿发票  2015-03-14 11:58:42
方法很多多多学习楼
顶: 0踩: 0 回复
20楼小蚂蚁站长吧  2015-03-10 17:54:44
这个方法很不错,之前我都是通过状态码筛选的,试下这个办法怎么样
顶: 0踩: 0 回复
21楼滕水消防  2015-03-09 15:26:49
真的是不错 我的也不挂这些了 但是不知道该怎么解决
顶: 0踩: 0 回复
22楼滕水消防  2015-03-09 15:19:41
不错
顶: 0踩: 0 回复
23楼南娜官网  2015-03-05 23:28:11
刚刚改版,靠谱,嘿嘿,干货啊
顶: 0踩: 0 回复
24楼江清月装修队  2015-03-05 20:53:13
很有用的文章,收藏了兄弟,顺便问一问,我啥时候可以看到自己的评论?
顶: 0踩: 0 回复
25楼赚客笔记  2015-03-05 14:23:38
之前我网站改版一次也出现了死链....
顶: 0踩: 0 回复
26楼松松推广论坛  2015-03-04 16:25:37
这是个 新问题
我以前从来没有注意过耶
顶: 0踩: 0 回复
27楼九块邮  2015-03-04 11:58:21
很实用的文章,好的方法是省时省力!
顶: 0踩: 0 回复
28楼李策  2015-03-04 11:17:39
这个留着,以后有用。
松哥,有个问题,希望可以回答一下。像他这样的是因为被黑了,连接删除,可以那么搞。但是如果是网站的数据没了一半呢,而且百度已经收录了。连接是根据文章id规范的。那么这个时候,需要提交死链吗?那如果提交了,以后在发布文章的时候 根据url 的规范,肯定会有和之前重复的,那么这个时候,由于之前提交过这个连接的死链,会不会对收录有影响呢。?如果不提交死链,确实存在近千的死链。该怎么办呢。
顶: 1踩: 0 回复
29楼砌块成型机  2015-03-04 11:14:33
支持一下
顶: 0踩: 0 回复
30楼广州翅膀  2015-03-04 10:22:15
难得的工具贴, 比其他正确的废话好
顶: 0踩: 0 回复
31楼9块9包邮  2015-03-04 09:32:20
我们知道,思路是通过爬取找出所有被收录的链接,然后按条件列出来而已。
顶: 0踩: 0 回复
32楼武汉恒压变频供水设备  2015-03-03 17:08:39
支持 至少是小工具嘛
顶: 0踩: 0 回复
33楼老郭东北仪器网  2015-03-03 15:30:03
感觉来松哥的博客每天都能学到新的东西.
顶: 0踩: 0 回复
34楼点亮吧  2015-03-03 09:40:35
很实用的文章,好的方法是省时省力
顶: 0踩: 0 回复
35楼彩虹  2015-03-03 02:32:02
这篇文章不错,要收藏起来 表示感谢!
顶: 0踩: 0 回复
36楼竞价赚钱  2015-03-02 11:32:26
做竞价这些烦恼都没有,黑链你随便放啊,反正我也不做自然排名,哈哈
顶: 0踩: 0 回复
36楼访客  2016-05-05 13:55:59
搞笑 哈哈哈啊
顶: 0踩: 0 回复
37楼懿古今  2015-03-02 11:10:29
这个方法还真没试过,不过用得最多的就是用来检测是否有死链
顶: 0踩: 0 回复
38楼langston  2015-03-02 10:47:54
感觉挺方便的,现在用不上,先收藏,以后有机会再用
顶: 0踩: 0 回复
39楼包子机  2015-02-28 20:33:03
网站的二级域名刚解析百度就收录了我程序还没传 我该怎么办?
顶: 0踩: 0 回复
40楼电脑安全之家  2015-02-28 15:48:10
有死链都懒得管了
顶: 0踩: 0 回复
41楼免费黑客网  2015-02-28 15:40:39
重来不用这些工具
顶: 0踩: 0 回复
42楼中国3D打印网  2015-02-28 13:50:14
这个方法还不错呢
顶: 0踩: 0 回复
43楼微信营销推广研究分析技术  2015-02-28 12:12:05
这方法非常的不靠谱,很繁锁!!
顶: 0踩: 0 回复
44楼赚钱好简单  2015-02-28 11:54:49
这方法值得一试
顶: 0踩: 0 回复
45楼手机赚钱  2015-02-28 11:08:19
黑链容易导致网站被K
顶: 0踩: 0 回复
46楼提高权重一排名一刷指数  2015-02-28 10:23:27
死链接不到没有起到对排名的作用反而还会拖累网站!尽早发现尽早处理掉!
顶: 0踩: 0 回复
47楼SEO优化  2015-02-28 09:37:48
转载了!现在正需要这个东西!公司网站有9万左右的死链!
顶: 0踩: 0 回复
48楼无损检测  2015-02-28 07:25:05
这是一套软件吗

顶: 0踩: 0 回复
49楼哈勃自媒体  2015-02-28 04:01:31
黑链什么的最讨厌了,谢谢了,不过我是小白看不懂噢
顶: 0踩: 0 回复
50楼长沙SEO  2015-02-28 02:08:25
不错学习了,一个锚链接主要有3个作用,8个左右特征。
顶: 0踩: 0 回复
51楼宝妈好奶粉论坛  2015-02-27 23:56:27
那么麻烦干嘛,让百度自己去更新不可以吗?
顶: 0踩: 0 回复
52楼上海交通事故赔偿  2015-02-27 19:58:30
这样黑别人网站的真的很卑鄙,而且有些时候都无法删除!
顶: 0踩: 0 回复
53楼爱尚笑话网  2015-02-27 19:07:53
学习了,以前网站被黑的时候,只是首页被挂黑链,比较好清除!但排名收录收到了很大的影响!
顶: 0踩: 0 回复
54楼夏日博客  2015-02-27 17:31:57
还从没怎么检查过死链接。
顶: 0踩: 0 回复
55楼好运鞋  2015-02-27 17:23:45
这些工具类的挺有用,可惜自己依然不太懂。
顶: 0踩: 0 回复
56楼初阳充值  2015-02-27 17:23:12
看完依然是一头雾水,先学习着。
顶: 0踩: 0 回复
57楼捏合机  2015-02-27 17:19:16
没这个查的详细
顶: 0踩: 0 回复
58楼捏合机  2015-02-27 17:18:50
用了一次感觉不错。
顶: 0踩: 0 回复
59楼北京丝足会所  2015-02-27 17:07:34
我以我血荐轩辕!
顶: 0踩: 0 回复
60楼稳定虚拟主机推荐  2015-02-27 16:31:07
好像挺好用的
顶: 0踩: 0 回复
61楼王海龙SEO博客  2015-02-27 16:24:04
看了一遍,蛮有用处的!
顶: 0踩: 0 回复
62楼微信营销推广研究分析技术  2015-02-27 15:52:03
每篇经验文章都值得我参考一下呢。
顶: 0踩: 0 回复
63楼冯耀宗  2015-02-27 15:42:13
百度不是有死链接工具么。
顶: 0踩: 0 回复
63楼捏合机  2015-02-27 17:19:16
没这个查的详细
顶: 0踩: 0 回复
64楼大连佳通轮胎  2015-02-27 15:40:32
经常用xenu的工具来查死链接,感觉挺高效的。
顶: 0踩: 0 回复
65楼安卓市场  2015-02-27 15:27:41
工具收下了!!一会用试试看!
顶: 0踩: 0 回复
66楼手机游戏  2015-02-27 15:26:53
这个工具真有用吗?
顶: 0踩: 0 回复
67楼优站长网  2015-02-27 15:13:43
这个方法我之前用过
顶: 0踩: 0 回复
68楼青岛润桥二手车  2015-02-27 15:09:19
很有用谢谢分享,今后可以一起交流哦哦。
顶: 0踩: 0 回复
69楼暴打小三  2015-02-27 14:16:14
很有用谢谢分享,今后可以一起交流哦哦。
顶: 0踩: 0 回复
70楼百度排名软件  2015-02-27 13:50:09
收藏一下,以前碰到过,说不定会用的到
顶: 0踩: 0 回复
71楼理财渠道  2015-02-27 13:46:53
用过这个工具,还是很简单实用的。
顶: 0踩: 0 回复
72楼常州seo  2015-02-27 13:32:38
我经常用这个工具来检查,能大大提高工作效率,很准的
顶: 0踩: 0 回复
73楼张萌澄  2015-02-27 13:29:53
太感谢了,我正需要这样的内容
顶: 0踩: 0 回复
74楼谢斌个人博客  2015-02-27 12:55:26
挺有用的,不过把死链页面设置跳转到404页面,是不是就可以了?
顶: 0踩: 0 回复
75楼塘沽液晶电视维修  2015-02-27 12:05:57
直接找百度,花钱太多
顶: 0踩: 0 回复
76楼塘沽洗衣机维修  2015-02-27 12:03:27
好的方法,一起学习交流吧
顶: 0踩: 0 回复
77楼六维度  2015-02-27 11:02:48
哇塞,为了这篇文章也是蛮拼的,发的时间越来越早了。
顶: 0踩: 0 回复
78楼金盆子资源网  2015-02-27 10:55:09
这个技巧很适合那些中小网站,很实用。
因为网站在刚开始运营的过程当中,网站安全意识相对会差一些。所以学会这种方法还是非常重要的。
感谢分享!
顶: 0踩: 0 回复
79楼张焦天免费微信课程  2015-02-27 10:50:47
更新很早啊!
顶: 0踩: 0 回复
80楼苏州货架  2015-02-27 10:47:38
我是不是懂得太少了,每篇经验文章都值得我参考一下呢。
顶: 0踩: 0 回复
81楼湖南师范大学自考  2015-02-27 10:27:23
检查这些链接。用软件工具就可以了!
顶: 0踩: 0 回复
82楼推56站长论坛  2015-02-27 10:11:13
一直用的是这个工具,不过最后一步骤的正则提取,没搞过,都是人工处理的,呵呵。站长工具那个死链接检测不行,那个一般只检测当前页面的,这个工具检测的是全站的,相当给力。
顶: 0踩: 0 回复
83楼九块九包邮网  2015-02-27 10:11:08
这样的话,只要把开头输入的site网址改一下,也可以查询其他搜索引擎的收录。
顶: 0踩: 0 回复
84楼爱爱  2015-02-27 10:08:35
感觉死链自己就会死掉的,
顶: 0踩: 0 回复
85楼内容标题  2015-02-27 09:46:04
  如果你的标题没有带关键词,那排名好也不会有流量,所以这一点很重要,这里可以选择指数在100的长尾的关键词,如果排上第一就有40个IP左右,标题写的方法可以这样,长尾+空格+你自己要写的标题,当然这个长尾跟你当前页面的内容要有相关性。
顶: 0踩: 0 回复
86楼外链质量  2015-02-27 09:44:52
外链主要看质量,有数量没质量也没多大的效果。要去不会被删除的地方发外链,其实软文的效果是最好的,如果你不会写软文,那你要多看别人怎么写,然后自己试着写,写个十来篇后,你就会有感觉了。论坛的签名效果也很好,站长论坛里的都是收录很快的帖子,这个要靠数量,一般我是一天做100个,再加其它的几个,要广度。
顶: 0踩: 0 回复
87楼网站的权重  2015-02-27 09:44:17
那你要做好长尾记录单,把内容页的长尾都记录在里面,当你发文章的时候,碰到这个关键词,那就做他的锚文本,给对方的页面投上一票,把整个网站形成一张网,那蜘蛛也可以爬行的很好,久而久之整个网站的权重就可以带动起来。也可以很好的提高PV。
顶: 0踩: 0 回复
88楼长尾流量  2015-02-27 09:43:23
新站刚开始的时候,很多站长把关键词都选错了,然后改了好几次,改多了搜索引擎就会很不认同,我第一个网站的时候也是一样改了三次,100天才有长尾流量。占网站流量的90%,现在这个站半年了,目标关键词才有流量。
顶: 0踩: 0 回复
89楼阿兴博客  2015-02-27 09:42:59
只要把开头输入的site网址改一下
顶: 0踩: 0 回复
90楼京号网  2015-02-27 09:39:38
网站改版,造成了几万个死链,马上设置404.
天天登录百度站长,通过网站异常,复制死链,再提交死链,大约20多天死链就全部被百度去掉。
既然看重百度,用百度站长都可以解决啊。不知道我说的对不对
顶: 0踩: 0 回复
91楼大主宰小说  2015-02-27 09:38:15
赞一个哦。
顶: 0踩: 0 回复
92楼权重域名出售  2015-02-27 09:34:24
删除网站死链,对网站优化确实很有帮助。
这篇文章先收藏了,以后用得着,哈哈
顶: 0踩: 0 回复
93楼不不博客  2015-02-27 09:20:27
这篇文章不错,要收藏起来
顶: 0踩: 0 回复
94楼派啦网  2015-02-27 09:15:22
看了,貌似懂了点!
顶: 0踩: 0 回复
95楼喜乐搜搜谷歌  2015-02-27 09:02:39
好工具,正想检测下我的Google搜索网站。搜谷歌点我昵称。
顶: 0踩: 0 回复
96楼理财攻略  2015-02-27 08:56:14
我的方法就是直接找百度,花钱删除!
顶: 0踩: 0 回复
97楼二手堆  2015-02-27 08:55:21
学习学习
顶: 0踩: 0 回复
98楼站长谈  2015-02-27 08:41:17
原来还有这个功能。之前使用没太注意。
顶: 0踩: 0 回复
99楼网赚博客  2015-02-27 08:26:01
这个很有用
顶: 0踩: 0 回复
100楼济南网站优化  2015-02-27 08:21:54
死链确实对网站优化有很大影响,但是一般情况下,只要建站之初就设计合理,程序开发得当,很少会出现死链的情况。死链较多的站点,也往往是开发不合理或者是模板站。
顶: 0踩: 0 回复
101楼卢涛涛  2015-02-27 08:11:15
我坐沙发,这不科学啊!松松早!
顶: 0踩: 0 回复
102楼艾文  2015-02-27 08:06:06
每天都能获得新的知识,找到新的思路,卢松松的团队这是强啊,期待学习到更多高富帅的东西。
顶: 0踩: 0 回复
103楼已备案域名  2015-02-27 08:05:48
之前也有一个网站被泛解析,后来把*的解析到新的IP,全做404,快一年百度才全部去掉收录的页面
顶: 0踩: 0 回复
104楼尚品折扣  2015-02-27 08:04:09
方法不错,顶!!!
顶: 0踩: 0 回复
105楼玩赚手机  2015-02-27 07:59:29
更新这么早啊!
顶: 0踩: 0 回复