-
百度站长平台刚刚发布了一个小技巧:巧用robots避免蜘蛛黑洞。
比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高。
如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。
这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。
那么该如何避免这种情况呢?
我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:
对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun
同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。
robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。
顶: 0 踩: 0扩展阅读:蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。
来源:卢松松博客 QQ/微信:13340454
百度:巧用robots避免蜘蛛黑洞
| 阅读量 | 分类: 微新闻 | 作者: 卢松松
相关文章阅读更多:SEO新闻 百度
- 2024-11-13 如此恶性循环,屌丝创业者都不跟百度玩了
- 2024-09-27 别人都在百度云智大会上吹,我就说点别的……
- 2024-09-14 百度起诉知名站长工具5118
- 2024-07-27 萝卜快跑可能要凉凉了!
- 2024-07-24 萝卜快跑背后:网约车司机不应成为所有人的就业底线
- 2024-07-22 当年的百度贴吧是最好用的社交平台,可惜了
- 2024-07-18 这位少年说长大开AI公司,收购百度
- 2024-07-11 百度将成为中国最大的出租车运营公司
- 2024-07-01 网传江苏本地最大的百度总代倒闭
- 2024-06-07 谁能赢?阿里的通义 VS 百度的文心
- 2024-06-05 百度最终还是错过了最重要的风口
- 2024-05-10 璩静是为了薅百度羊毛
- 2024-05-07 为了老板李彦宏,百度公关豁出去了
- 2024-04-17 李总别拉踩AI同行了
- 2021-09-08凡是在卢松松博客投稿的作者都有机会得到IT类图书哦!
发表感想加入微信群
山姆娱乐
MBA中国网
东盟购
v587
ringinter
威友丝网制品
跑步机什么牌子好
你可以在我网站底部找到链接,或者搜索 欲思博客 。
手机游戏排行榜
计算机编程
老刘笔记
洛阳阀门
唯美图
90日记
他她服装搭配网
吴涛
wingsBlog
提升机
北京电线电缆
石头
企业管理软件
【红博客】-关注中小企业及创业
找折购
大学生的生意经
投资移民
2014天猫双十一购物清单
响应网酒店预订
人生那点事
鸡公煲论坛
飞微网
苏州网站建设
学生创业
明星图片
域名抢注
那么问题来了
广西旅行社
稳定虚拟主机推荐
ajian
极品飞鸽