SemrushBot是SEMrush的蜘蛛爬虫。

SemrushBot.jpg

SEMrush是一家老牌的提供搜索引擎优化数据的公司,是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。

建议中文站屏蔽掉它的爬行,首先因为这个蜘蛛爬行并不会给网站带来流量,只会占用服务器资源,其次是这是已经数据分析公司的爬虫,它爬的数据会成为你竞争对手的分析利器。

如何屏蔽SemrushBot呢?

robots.txt文件中添加以下代码即可:
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /

标签:石家庄网站建设 爬虫 SemrushBot 蜘蛛爬虫 robots