今天百度站长工具更新了robots提示功能，站长在robots.txt制作后，通过站长平台可以直观的了解到那些是搜索引擎可抓取、那些是被屏蔽的，避免因疏忽而屏蔽蜘蛛，导致收录减少。

因为我之前一直用Google的robots工具制作，比起Google网管工具的来更直观，不会制作robots的站长朋友可以使用此工具，如下图所示：

小知识：robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录，哪些页面不可以被收录，如果您不想让搜索引擎收录您网站的某些内容，请用robots.txt文件指定搜索引擎在您网站上的抓取范围。robots.txt制作好后放到网站「根目录」就可以拉!

来源：卢松松博客（QQ/微信：13340454），转载请注明出处！

本文地址：https://lusongsong.com/blog/post/545.html