各位老铁大家好，上次我们分享了一个小技巧，《如何防止对手用builtwith轻松扒我们网站》。我们这次再分享一个威力加强版，以这个网站为例，我们饿用builtwith看到他屏蔽了一些常用的爬网站流量的工具，比如：semrush, ahrefs, majestic, 
熟悉独立站的同学都知道我们经常用三驾马车——similarweb, semrush, ahrefs去把隔壁老王扒得内（和谐）裤都不剩。所以当我们网站流量起来，也要学会防止老王反爬我们，还是很有必要的，那具体怎么做呢？只要把下面的代码，分别加到你网站的 robots.txt一般你的SEO负责人，IT或者网管都会知道怎么做。详情参考官方文档,我在这里面已经列在下面了：
Semrush用以下代码
官方说明：https://www.semrush.com/bot/ser-agent: SemrushBotDisallow: /
Ahrefs用以下代码
官方说明：https://ahrefs.com/robot
User-agent: AhrefsBot
Disallow: /
Majestic用以下代码
官方说明：https://www.mj12bot.com/index.html
User-agent: MJ12bot
Disallow: /
BuiltWith
http://builtwith.com/removals
Similar比较牛逼，我暂时没找到很好的办法弄他，知道的老铁可以告诉我，但当我们的网站大到足矣入Simiarweb法眼的且数据还准确的时候，我们又有何惧哉？上面几个加了，那基本上就可以防止至少大半老王去爬你的网站了，当然这个更多防君子不防小人了，至少增加他们研究我们的难度。大家有任何问题，欢迎随时跟我继续交流啊！谢谢大家！
作者：Alan 来源：Alan
本文为作者独立观点，不代表出海笔记立场，如若转载请联系原作者。
