-
“抓取错误”是 Google网站管理员工具(Webmaster Tools)中最受欢迎的工具之一。它可以帮助你检查错误的链接,不仅仅是URL链接,还包行DNS解析失败、服务器链接、robots.txt 文件等问题,几乎所有网站都会出现抓取错误。
网站站长工具将错误分为两类:网站错误(site errors)和链接地址错误(URL errors)。如果在一个网站上出现多个抓取错误,那么你的网站信任度会下降,甚至会影响到排名,当然这工具对于百度优化同样有效。那么应当如何解决Google网站管理员工具的抓取错误呢。
通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。
一、HTTP的错误
当一个网站上的网页(例如,当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的服务器发出请求,服务器返回HTTP状态码响应请求。
如果出现403状态,可以不用理睬,这表明是你的主机阻止了Googlebot抓取。对于所有HTTP状态码的列表文件,可以参考Google HTTP状态码帮助页面。
二、Sitemap中的错误
Sitemap错误往往会造成404错误页面,或在当前地图返回一个404错误页面,如果出现404错误页面请检查Sitemap中所有的链接,
Google会不断抓取你已经删除的Sitemap,这点很郁闷,但也有办法解决:确保旧的Sitemap已经在管理员工具中被删除。如果不想被抓取,确保旧Sitemap出现404或者重新定向到新的Sitemap。
来自Google员工Susan Moskwa解释道:
阻止Googlebot的爬行,最好的办法是使这些网址(例如旧的sitemaps)出现404,当我们看到一个URL多次出现404后,Googlebot会停止爬行。
三、重定向错误
有些错误是因为301从定向引起的,执行重定向后要注意什么:
1:确保他们返回到正确的HTTP状态码。
2:确保没有任何循环重定向。
3:确保重定向指向有效的网页,而不是404页,或其他错误页,如503(服务器错误)或403(禁止抓取)
4:确保重定向不是指向一个空页面。
四、404错误
404错误可能会出现在以下几个方面:
1:删除了网站上的网页;
2:改变了网页的名称;
4:链接到了一个不存在的页面;
5:其他网站链接到你网站上一个不存在的页面;
6:网站迁移到一个新的域名不完全匹配的网站。
五、受robots.txt限制
还有一个原因是robots.txt文件阻止了Googlebot的抓取,如果出现大量抓取错误,第一步应该检查robots.txt
六、软404错误
通常情况下,当有人请求的页面不存在,服务器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404代码,服务器也将显示一个404页。 这可能是一个标准的“未找到文件”的消息,或旨在提供更多信息的用户,它可能是一个自定义页面。 页的内容是由服务器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到消息并不意味着它是一个404页。
七、超时
网站超时也是出现抓取错误的原因之一,如果出现超时现象,Googlebot会停止抓取。超时的错误类型有:
1:DNS超时,可以使用Nslookup 命令检测DNS,出现DNS超时最大的因素是域名服务商的DNS服务器不稳定。
2:网址超时,在某一个特定页面,而不是整个域的错误。
3:robots.txt超时,如果你网站有robots.txt,但服务器超时,Googlebot会假定该文件不存在。
4:动态网页的响应时间过长而造成网页载入时间过长。
顶: 3 踩: 0来源:卢松松博客 QQ/微信:13340454
如何解决Google网站管理员工具的抓取错误
| 阅读量 | 分类: SEO推广 | 作者: 卢松松
相关文章阅读更多:SEO优化 Google
- 2023-09-27 百度搜索逐步恢复优质网站权限
- 2023-09-06 被百度判定为低质量网站了!如何整改?
- 2023-08-17 SEO是人人都可以挖的金矿,SEO终极算法第四部!
- 2023-08-11 公众号垂直SEO领域3万粉丝,做对了什么?
- 2023-07-01 网站建设与网站推广哪个流量大?说说SEO关键词怎么选
- 2023-06-15 Google SEO怎么做?谷歌seo优化包含哪些内容?
- 2023-04-26 跨境电商卖家如何用SEO的思维提升排名
- 2023-04-09 本地生活商业流量SEO怎么做?
- 2023-02-20 对话ChatGPT,微信SEO怎么做及搜商与问商是什么
- 2023-02-15 百家号卡位排名是什么意思及怎么优化
- 2023-02-14 百度流量闭环了,SEO还能怎么搞
- 2023-01-20 SEO转型系列之十二,SEO如何转行私域流量运营?
- 2023-01-20 2023年了,做百度SEO还有出路吗
- 2023-01-13 企业网站SEO中各个页面的title用统一后缀标题有什么用
- 2021-09-08凡是在卢松松博客投稿的作者都有机会得到IT类图书哦!
发表感想加入微信群
爽儿
云上小悟
烟台统计信息网
防辐射孕妇装
华康强直中心
生态木
VibeEnglish
2网页错误无法追踪301 这个怎么解决?因为我以前的多余网页我把它删除了,这个对网站有没有什么影响?
先行谢过
yang
网店哲学
alen
我是新手,最近刚用谷歌管理员工具,遇到了一些问题,求指点;
通过“抓取错误“,发现存在4000多个网址错误(但我浏览器访问这些网址是可以访问的,站长工具中蜘蛛模拟访问返回404),另外,我在网站的日志中,也发现了大量的404
另外,我的”编入索引的网页总数“是0,是怎么回事阿?
我现在是一头雾水,请各位老师给指点下,怎么解决阿?
购物bags
安康
peach5460
我使用了站点管理后,出现了三个404错误,而显示的这三个错误是因为找不到网页,而网页的确是因为某种原因被我删了而这几个网页应该不会再出现
我该如何解决这三个网页的404呢?
我看谷歌帮助里面写说如果我选中这些网页选择已修复那么谷歌会再次检索,如果找不到还是会显示错误抓取
而且我好想也没找到删除链接的按钮?纠结
绿树飞扬
堆美网
石家庄桥西区电脑维修
天气预报
录音笔
侯员外
网络兼职
SG返利网
长沙阳光妇科
天气预报
祛斑三步法
刘印博客
淘宝优化
少卿
吊机
kevin
阿杜网络营销软件
天蓝蓝
母猪产床
方小丰
石材雕刻机
汽车靠垫腰垫价格
小老翁
吴克难的博客
先看看
红酒木瓜靓汤唯一正品官网
长沙阳光妇科
实名网络营销
怎样通过网络赚钱
叶子
游戏网站
方涯子博客
好作文
布袋除尘器
山寨吧
嘉兴SEO
小布丁
hostgator
单反
成都网络营销
个人贷款条件
400电话网
拉梦网
莆田SEO
电缆桥架
园林博客
大连教育培训网
集趣
淘宝男装
吴克难的博客
Win7en乐园
小游戏
秦远征博客
自制面膜大全
得利网
不过说回来谷歌的亲和度,对个人用品的推广,没多大帮助。
红瓷
吃什么可以增肥
韩剧追踪者
sealango
银川LED显示屏
后箱盖
鑫伟宏
冯志强
海纳百川
老赖
乾龙
足浴盆什么牌子好
灯具
北京SEO
汽车驾驶模拟器
聪明益点博客
笑话大全乐翻天
白夜小窝
哥笑啦
新疆SEO