卢松松博客

网站收录怪象: 那些关于收录的秘密

 人参与 | 时间:2015年08月06日 14:43

SEO之路上难免会碰到一些奇葩的事情,比如网站改版了还收录旧的URL地址、测试网址无缘无故就被收录了导致正式网址不被收录、换了IP结果导致百度收录不更新了等等,大多数的时候大家都把问题的原因归结于百度,百度实在有些冤枉,为大家揭开这奥秘。

在开始前先简单的给大家讲解一点小知识:

域名IP相当于站点的名字和身份证,IP相当于现如今的身份证,但是身份证IP地址很难记,所以就产生了域名。这里不是给大家普及历史知识,只是现在大多数情况下都采用域名来访问所以导致大家忽略了一个事实:最终寻址的是身份证号码也就是IP,不是域名!来看个域名解析的简化过程图:

网站收录怪象: 那些关于收录的秘密 好文分享 第1张

通过这里大家应该明白一些了吧?域名只是方便我们记忆,而真正的寻址的应该是IP!大家都知道域名DNS服务器在全球有N个节点,我们新域名刚解析的时候常会碰到某些区域因为DNS数据同步慢而导致访问不了的情况,而老域名换IP的时候也会碰到用户访问的还是老IP的想象。这你都知道?别急你还有不知道的!

然而我们的搜索引擎蜘蛛大多数分布式抓取,自身都建有DNS,一来解决抓取的时候的效率,不必每次都要解析IP后抓取,二来我们站点的主体表现形式都是域名,而不是IP,所以带着我们的域名host头去访问我们的老IP还是会访问的到,因此就会导致我们开头提到的一些奇葩怪象。说完基本概念,我们再来详细分析一下这几个怪象的具体成因!

一、网站改版了还收录旧的URL地址

这个问题其实跟上面的基础没啥太大关系,但每天在百度站长社区问的人实在是太多了,也算是收录的一大奇葩现象,所以在这里还是拿出来叨一下。

很多站长网站改版了启用了新的URL结构,也在站长平台进行了改版提交,但是还是出现收录旧的URL,遇到这个问题首先我们还是从站点自身的问题找起:

网站收录怪象: 那些关于收录的秘密 好文分享 第2张

1.是否已经去除所有旧地址入口?

这是个严肃的问题,很多朋友因为站点大、结构复杂、改版不彻底导致并没有去除所有入口页面,导致新内容产生的同时在一些角落里还是产生了老的入口,只要链接地址还是老的就有可能被收录。所以要改版要换URL必须彻头彻尾的把所有链接替换为新的URL。为了加速生效新的链接除了站点自身链接外尽可能修改一下外部的链接,例如友情链接

2.老的URL是否做了301到新的URL上?

老的URL是否真的是301到新的URL上面?我也遇到一些奇葩的朋友使用js之类的技术,看起来好像也是跳转,也像那么回事,但其实根本不是一回事!

3. 关于百度方面

在做好1和2的基础上,即使百度收录了旧的链接,也不必担心,因为百度对跳转属性的站点和链接识别和确认需要一定的时间,而且只要是稳定的跳转,最终都会转换成新链接的流量,当然记得通过网站改版工具及时提交改版规则。

二、测试网址无缘无故就被收录了导致了正式网址不被收录

这里我建议大家以后测试的时候尽量环境保证本地或者在特定测试环境下才能访问,否则现在的各种浏览器可能会把地址透露出去,也有不小心把地址拿去搜索等渠道导致被搜索引擎收录那么对你的站点上线影响还是蛮大的。

网站收录怪象: 那些关于收录的秘密 好文分享 第3张

1.没有关闭测试服务器

上面普及知识有提到过,大家换IP或者换URL地址的时候因为老的服务器没有关闭,而搜索引擎缓存了IP,导致搜索引擎还是可以访问到这些页面;

2.没有删除IIS绑定

还有一些朋友换了IP地址,但是并没有在老的IP上的网页服务器上删除网站绑定,导致搜索引擎带HOST头访问该IP的时候能够访问到旧的内容;

一般情况下搜索引擎缓存的时候较长,或者因cdn等因素导致IP同步失败的都会导致上述情况发生,更换ip以后,可以通过抓取诊断工具测试一下百度是否能够正确抓取,如果解析到的ip有误,可点击抓取诊断详情中的“报错”,通知百度更新您站点的ip。

三、换IP后导致百度不收录

上面提到搜索引擎会缓存IP,百度在换IP的时候也说过尽量保证老服务器一段时间内可以访问,为什么要这样?因为服务器真的需要时间去同步内容同步IP,而且直接断了老的服务器很容易导致短时间突发404,因此会给站点造成不可预估的问题;

换IP后不收录原因也是这样,因为换了新服务器数据迁移后导致老服务器的内容并没有更新,所以这个时候其实是百度根本抓取不到你的更新。因此需要通过上面的方式尽快告诉百度,您站点ip的变动,减少站点流量损失。

结束语:

其实收录奇葩问题很多,我列举了大部分可能遇到的一些奇葩问题,大部分情况下都是站长存在的一些误区所导致的。

作者:飞鹰正义

相关阅读:

百度认为什么样的网站更有抓取和收录价值

百度算法更新与收录变化历史记录

谷歌:网页收录不等于排名

揭秘刷百度权重那些不为人知的事情

顶: 0踩: 0

来源:,欢迎分享,(QQ/微信:13340454)

必填

选填

选填

◎已有 12 人评论,微信:QQ13340454

1楼内涵图  2014-05-14 05:28:29
不明觉厉
顶: 0踩: 0 回复
2楼电信通  2013-08-07 20:19:17
大实话啊
顶: 0踩: 0 回复
3楼扫一扫  2013-07-01 15:15:15
好像在中国窃取不到重要情报
顶: 0踩: 0 回复
4楼红颜情人社区  2013-06-30 14:07:19
淡定!
顶: 0踩: 0 回复
5楼声卡驱动器官方下载  2013-06-27 11:07:49
高级黑啊。。
顶: 0踩: 0 回复
6楼武汉男按摩师  2013-06-26 21:00:37

我看黄段子可不止10%吧?
顶: 0踩: 0 回复
7楼性用品  2013-06-26 16:20:00
完了 中国人没有秘密了
顶: 0踩: 0 回复
8楼别墅装修公司  2013-06-26 16:15:42
那剩下的10%一定是重要内容了?
顶: 0踩: 0 回复
9楼什么值得买  2013-06-26 13:15:43
哈哈哈
顶: 0踩: 0 回复
10楼老陶  2013-06-26 09:16:27
看来大家还是喜欢关注后面10%的部分,生活中也是一样,缺少这个就乏味了。
顶: 0踩: 0 回复
11楼内涵漫画  2015-11-26 02:51:54
越到这些问题还是挺烦的,只得慢慢去摸索
顶: 0踩: 0 回复
12楼妹妹高清  2015-11-15 10:52:08
现在百度、好搜和谷歌都有网站改版工具,可以更换不同域名、不同路径,感觉挺好的图配的不错
顶: 0踩: 0 回复
13楼另当别论  2015-08-31 22:21:32
实用就是好的
顶: 0踩: 0 回复
14楼懂懂日记  2015-08-21 17:11:18
专业科普文章
顶: 0踩: 0 回复
15楼支付宝借条论坛  2015-08-21 10:28:43
说得好。谢谢指教
顶: 0踩: 0 回复
16楼点亮吧  2015-08-10 11:17:07
越到这些问题还是挺烦的,只得慢慢去摸索
顶: 0踩: 0 回复
17楼boke112导航  2015-08-07 12:45:32
现在百度、好搜和谷歌都有网站改版工具,可以更换不同域名、不同路径,感觉挺好的
顶: 0踩: 0 回复
18楼深圳浩海电子  2015-08-07 08:54:06
通过大家的表态,目前看来是好的
顶: 0踩: 0 回复
19楼第二度  2015-08-06 20:40:22
伺候好度娘才是王道。
顶: 0踩: 0 回复
20楼Larslarsen  2015-08-06 18:13:33
网站改版,把原来的shopex 彻头彻底的换成了 magento . 原来的链接全部不能用。网站内容也全改了。 404页面也没有提交,301也没有做,目前看来是好的。
顶: 0踩: 0 回复
21楼珠海论坛  2015-08-06 16:18:30
图配的不错
顶: 0踩: 0 回复
22楼web技术分享  2015-08-06 15:46:11
前端技术感兴趣的朋友欢迎到我的网站看看,html,css,js等前端开发经验分享,学习等。
顶: 0踩: 0 回复