-
继上次头条搜索暴力爬取网站信息后,华为移动搜索AspiegelBot爬虫近日也被站长发现开始高频抓爬网站信息,就和站长头条差不多。
了解到,这个AspiegelBot爬虫主要模拟安卓机进行抓爬 , UA标识符里也没有标注爬虫所属公司信息,显然不想让人发现,后面有站长深挖才发现这个爬虫属华为搜索旗下的AspiegelBot公司,并且AspiegelBot的爬虫超高频抓取甚至堪比上次的头条爬虫的暴力抓取,很多被爬的一些小网站很多直接瘫痪,开始屏蔽华为搜索AspiegelBot爬虫的访问。
有站长表示: 这次华为移动搜索AspiegelBot爬虫高频爬取跟就和站长头条差不多,也是大量抓取网站信息,一般搜索引擎只有开始大量建立索引库才会这么玩,跟刚上线时的头条搜索一个套路,看来华为搜索也是要准备进场了!
顶: 0踩: 0相关阅读:
来源:卢松松博客(QQ/微信:13340454),转载请注明出处!
华为移动搜索AspiegelBot爬虫被发现高频爬取
阅读量 | 作者: 杰哥-松松编辑 | 时间:2020年05月23日 11:53
相关文章阅读更多:搜索引擎 华为
- 2021-01-26 为什么还有人做SEO?
- 2021-01-20 微信搜一搜即将赶超百度APP
- 2021-01-14 百度上线惊雷算法3.0
- 2020-12-18 你真的会用搜索引擎吗?
- 2020-12-13 一鲸落万物生,聊没落网站最后的赚钱生态
- 2020-09-23 头条搜索上线搜索竞价广告
- 2020-09-11 华为搜索业务国内正式上线
- 2020-09-02 微信公众号上线号内搜索推荐功能
- 2020-07-08 以SERP视角,看看百度存在什么问题
- 2020-05-30 谷歌发布2021网页排名算法:用户体验为王
- 2020-05-28 华为上线自研搜索引擎花瓣搜索
- 2020-05-20 解读DuckDuckGo:另一个搜索引擎的故事
- 2020-05-18 搜狗搜索PC端市场占比大幅提升
- 2020-05-13 亚马逊正式推出企业搜索引擎Kendra
- 2020-06-28松松网开通了在线投稿,点此立刻给我投稿哦,高质量文章阅读都很高!
发表感想加入QQ群交流