最近，百度第一次以官方形式公开了识别百度蜘蛛的信息，并且表示百度蜘蛛 UA(爬行渠道)目前分为 PC、移动、小程序三个应用场景。还给出了网站识别百度蜘蛛的一些渠道ua示例!

在小程序没有出来之前，百度的抓取一般是只针对移动和pc的网页内容，这个一般做网站的都了解，但是在百度最近迷上小程序之后，对小程序的流量倾斜不止一次的在重复，因此相比原来的的 PC 端和移动端，这次百度蜘蛛的爬行渠道也着重提到了百度寄以厚望百度智能小程序，因为百度小程序也是支持移动端，所以同样也能被被百度蜘蛛抓取到!

此外百度官网也给出了作为判断是否是百度蜘蛛的移动、PC、和小程渠道UA示例如图：

此外磊哥还了解到，站长们也可以通过 DNS 反查 IP 的方式判断来你站spider 是否来自百度搜索引擎。百度蜘蛛的 hostname 以*.baidu.com 或*.baidu.jp 的格式命名，非*.baidu.com 或*.baidu.jp 一般就是冒充，大家可以酌情屏蔽自己不需要的蜘蛛和来源访问。

相关阅读：

百度蜘蛛提升HTTPS抓取力度

百度确认：蜘蛛会抓取纯文本链接的URL

百度官方分享：让蜘蛛抓取网页的四种方式

来源：卢松松博客 QQ/微信：13340454 ，转载请注明出处！

本文地址：https://lusongsong.com/blog/post/12183.html