-
“抓取错误”是 Google网站管理员工具(Webmaster Tools)中最受欢迎的工具之一。它可以帮助你检查错误的链接,不仅仅是URL链接,还包行DNS解析失败、服务器链接、robots.txt 文件等问题,几乎所有网站都会出现抓取错误。
网站站长工具将错误分为两类:网站错误(site errors)和链接地址错误(URL errors)。如果在一个网站上出现多个抓取错误,那么你的网站信任度会下降,甚至会影响到排名,当然这工具对于百度优化同样有效。那么应当如何解决Google网站管理员工具的抓取错误呢。
通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。
一、HTTP的错误
当一个网站上的网页(例如,当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的服务器发出请求,服务器返回HTTP状态码响应请求。
如果出现403状态,可以不用理睬,这表明是你的主机阻止了Googlebot抓取。对于所有HTTP状态码的列表文件,可以参考Google HTTP状态码帮助页面。
二、Sitemap中的错误
Sitemap错误往往会造成404错误页面,或在当前地图返回一个404错误页面,如果出现404错误页面请检查Sitemap中所有的链接,
Google会不断抓取你已经删除的Sitemap,这点很郁闷,但也有办法解决:确保旧的Sitemap已经在管理员工具中被删除。如果不想被抓取,确保旧Sitemap出现404或者重新定向到新的Sitemap。
来自Google员工Susan Moskwa解释道:
阻止Googlebot的爬行,最好的办法是使这些网址(例如旧的sitemaps)出现404,当我们看到一个URL多次出现404后,Googlebot会停止爬行。
三、重定向错误
有些错误是因为301从定向引起的,执行重定向后要注意什么:
1:确保他们返回到正确的HTTP状态码。
2:确保没有任何循环重定向。
3:确保重定向指向有效的网页,而不是404页,或其他错误页,如503(服务器错误)或403(禁止抓取)
4:确保重定向不是指向一个空页面。
四、404错误
404错误可能会出现在以下几个方面:
1:删除了网站上的网页;
2:改变了网页的名称;
4:链接到了一个不存在的页面;
5:其他网站链接到你网站上一个不存在的页面;
6:网站迁移到一个新的域名不完全匹配的网站。
五、受robots.txt限制
还有一个原因是robots.txt文件阻止了Googlebot的抓取,如果出现大量抓取错误,第一步应该检查robots.txt
六、软404错误
通常情况下,当有人请求的页面不存在,服务器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404代码,服务器也将显示一个404页。 这可能是一个标准的“未找到文件”的消息,或旨在提供更多信息的用户,它可能是一个自定义页面。 页的内容是由服务器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到消息并不意味着它是一个404页。
七、超时
网站超时也是出现抓取错误的原因之一,如果出现超时现象,Googlebot会停止抓取。超时的错误类型有:
1:DNS超时,可以使用Nslookup 命令检测DNS,出现DNS超时最大的因素是域名服务商的DNS服务器不稳定。
2:网址超时,在某一个特定页面,而不是整个域的错误。
3:robots.txt超时,如果你网站有robots.txt,但服务器超时,Googlebot会假定该文件不存在。
4:动态网页的响应时间过长而造成网页载入时间过长。
顶: 2踩: 0来源:卢松松博客(QQ/微信:13340454),转载请注明出处!
如何解决Google网站管理员工具的抓取错误
阅读量 | 作者: 卢松松 | 时间:2012年05月28日 09:17
相关文章阅读更多:SEO优化 Google
- 2021-01-02 谷歌搜索上线在线AR试装体验工具
- 2020-12-05 阿里云备案审查不允许挂谷歌广告
- 2020-11-18 谷歌搜索新规:网站必须支持移动端,仅有PC端不予收录
- 2020-10-15 谷歌搜索即将启用HTTP/2 方式抓取网页内容
- 2020-08-16 谷歌浏览器打算隐藏网站地址路径URL
- 2020-08-01 谷歌搜索建议网页图表信息使用图片少用HTML
- 2020-07-06 Google建议:所有网站的链接应加上nofollow
- 2020-06-08 Google将在7月份关闭Google+ for G Suite
- 2020-05-30 谷歌发布2021网页排名算法:用户体验为王
- 2020-05-22 Google搜索2020年5月核心算法更新
- 2020-05-17 揭秘谷歌退出中国的真正原因
- 2020-04-22 在Google工作一年的感受
- 2020-04-14 Google搜索停止收录Flash网页
- 2020-02-10 Google最近三十天的搜索算法变化
- 2020-06-28松松网开通了在线投稿,点此立刻给我投稿哦,高质量文章阅读都很高!
发表感想加入QQ群交流
2.网页错误无法追踪301 这个怎么解决?因为我以前的多余网页我把它删除了,这个对网站有没有什么影响?
先行谢过
我是新手,最近刚用谷歌管理员工具,遇到了一些问题,求指点;
通过“抓取错误“,发现存在4000多个网址错误(但我浏览器访问这些网址是可以访问的,站长工具中蜘蛛模拟访问返回404),另外,我在网站的日志中,也发现了大量的404.
另外,我的”编入索引的网页总数“是0,是怎么回事阿?
我现在是一头雾水,请各位老师给指点下,怎么解决阿?
我使用了站点管理后,出现了三个404错误,而显示的这三个错误是因为找不到网页,而网页的确是因为某种原因被我删了...而这几个网页应该不会再出现...
我该如何解决这三个网页的404呢?
我看谷歌帮助里面写说如果我选中这些网页选择已修复.那么谷歌会再次检索,如果找不到还是会显示错误抓取...
而且我好想也没找到删除链接的按钮?纠结...
百度如果出一个就好了 有的时候很多提示都不知道怎么解决
不过说回来谷歌的亲和度,对个人用品的推广,没多大帮助。