整理了一下国内外营销型搜索引擎，可以设置Disallow:/禁止它们抓取

由：张小六发布于：2024-11-24 分类：搜索引擎阅读：10次评论：0次

说到搜索引擎，想必大家只知道百度（Baiduspider）、360（360Spider）、神马（YisouSpider）、搜狗（SogouSpider）这些，而国内搜索引擎占比最大的是百度搜索引擎，想要在搜索引擎里获取免费流量其实挺难得，首先你得了解并迎合拥抱每一家规范要求，另外每一家对于内容的抓取收录也有一些小道消息，包括但不限于末位淘汰制，假设前10名内容优质、更新频繁，如果第11名更新的内容更优质且更频繁，那么站点内容就会被持续抓取并有概率被收录，并不是被抓取就100%被收录，因为搜索引擎还得把你站点内容和已有的其他站点内容作为比较，内容新颖且稀缺几乎秒收录，而内容空洞且错别字很多，阅读起来很费劲，或者内容同质化严重那么久很大概率不会被收录，即使被收录也是名字非常靠后了，而如果你的名次在几十名还靠后的位置那就只能稳扎稳打慢慢来了，和同类型站点互换友链，内容要持续更新且与站点相符，另外也会根据实时信息来推送，某一时段某个领域很火，而大家发布的内容不多甚至没有，恰巧有一家持续更新，那么就会被优先排前10名，所以大家在发布内容时不妨先参考一下市面上常见的搜索引擎指数，比如百度指数https://index.baidu.com/、360趋势https://trends.so.com/根据指数来选择合适的关键词，然后在编写内容时把关键词按一定比例植入到文章里，就会有较大概率被抓取且被收录。下面的一些营销类搜索类搜索引擎和百度指数、360趋势原理应该是类似的，如果你的站点面向全球市场不妨可以酌情使用。

其实国内还有宜搜（EasouSpider 收录小说的吧）、有道搜索引擎（YoudaoBot 主打课程学习）、头条搜索引擎（ToutiaoSpider 头条搜索引擎会截流，也就是说你和头条合作，对方会以小程序的形式展示在其他搜索引擎内（问答百科等），新闻类资讯站点或者品牌类站点可以考虑合作，毕竟流量可观，对品牌塑造有一定促进作用），国外的搜索引擎也有很多，比如谷歌（Googlebot）、必应（Bingbot）、Semrush（SemrushBot 营销类蜘蛛，建议屏蔽）、Ahrefs（AhrefsBot营销类蜘蛛，建议屏蔽）、MJ12（MJ12bot营销类蜘蛛，建议屏蔽）、Roger（Rogerbot营销类蜘蛛，建议屏蔽）、Amazon（Amazonbot电商类蜘蛛，建议屏蔽）、 Dot（DotBot似乎是恶意蜘蛛，建议屏蔽）、Screaming Frog （似乎是恶意蜘蛛，建议屏蔽）、Lumar （数据分析类蜘蛛，建议屏蔽）Majestic （数据分析类蜘蛛，建议屏蔽）、cognitiveSEO （数据分析类蜘蛛，建议屏蔽）Oncrawl （数据分析类蜘蛛，建议屏蔽）、exabot （法国搜索引擎，，大家可以按需选择是否屏蔽，做跨境电商的不妨考虑允许被抓取内容）、Apple（Applebot 苹果蜘蛛，大家可以按需选择是否屏蔽）、Petal（Petalbot华为搜索引擎蜘蛛，但据说只对海外开放，做跨境电商的不妨考虑允许被抓取内容）、Yandex（YandexBot俄罗斯搜索引擎蜘蛛，做跨境电商的不妨考虑允许被抓取内容）、DuckDuck（DuckDuckBot 尊重用户隐私的搜索引擎）。