有站长朋友向小编反馈，对方说明明设置了禁止搜索引擎抓取内容但还是通过蜘蛛统计插件看到还是被抓取了，在这里小编重点讲解一下个人见解，如有不对还请大家予以指正，感谢大家理解与支持。   首先你得搞清楚你为什么想要设置禁止搜索引擎抓取？理论上搜索引擎去你的站点抓取内容是很正常的，还有一点就是搜索引擎的工作原理就是无时无刻都在全球海量站点抓取站点信息并通过一定算法来排除掉劣质内容，其中包括但不限于排...