Nginx如何屏蔽垃圾蜘蛛 屏蔽指定UA教程

一：找到垃圾蜘蛛的UA特征

     开心小站长使用的是宝塔面板。通过宝塔面板上的网站监控报表，可以看到对应网站的nginx日志。如果你使用的不是宝塔面板，你可以将网站的日志下载下来。用notepad++或者其他代码编辑软件打开。

上图这个UA是semrush的爬虫UA，对SEO没有作用，针对这个UA可以做屏蔽。提取这个UA的特征 semrush

上图这个UA带上了所有热门浏览器的特征，明显是恶意UA，提取这个UA的特征 HUAWEIEML-AL00

二：针对特定UA进行屏蔽

屏蔽UA功能，是写在对应网站的nginx的配置文件中的。

放到server后面的大括号后面即可！

#禁止指定UA及UA为空的访问if ($https_user_agent ~ "semrush|opensiteexplorer|OPPO A33 Build|HUAWEIFRD-AL00|Dorado|^$" ){
  return 403;}

刚才提到的semrush、HUAWEIFRD-AL00均进行了屏蔽。我同时对一些其他UA进行了屏蔽，大家可以按需填写使用！