Apache使用.htaccess 屏蔽恶意 User Agent(防蜘蛛)
一、登记在册的恶意UserAgent
1、”Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;EmbeddedWB14.52from:http://www.bsalsa.com/EmbeddedWB14.52;.NETCLR2.0.50727)”
下面是网站日志中的两条记录，这个UserAgent会重复访问注册页面，并获取验证码，这是垃圾留言和恶意注册的开始。
116.242.22.10199.27.128.204––[30/Oct/2011:04:02:15+0800]“GET/checkcode.phpHTTP/1.1”302286“http://www.***.com/register.php”“Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;EmbeddedWB14.52from:http://www.bsalsa.com/EmbeddedWB14.52;.NETCLR2.0.50727)” 116.242.22.10199.27.128.204––[30/Oct/2011:04:02:19+0800]“POST/register.phpHTTP/1.1”302286“http://www.***.com/register.php”“Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;EmbeddedWB14.52from:http://www.bsalsa.com/EmbeddedWB14.52;.NETCLR2.0.50727)”
2、”Mozilla/5.0QunarBot/1.0″
这是一个无视robots.txt的蜘蛛，怀疑与“去哪儿”有关。
3、”Mozilla/4.0(compatible;MSIE5.00;Windows98)”
61.147.91.201173.245.48.60––[30/Oct/2011:06:00:28+0800]“GET/mp3/%A5%D6%A5%EB%A9%60%A5%D0%A9%60%A5%C9.mp3HTTP/1.1”302286“-”“Mozilla/4.0(compatible;MSIE5.00;Windows98)”
看到没？Windows98！总是抓取网站目录下的mp3文件，都是原来上传过mp3文件到网站的错。
4、”Mozilla/4.0″
58.255.120.95199.27.128.216––[30/Oct/2011:06:01:26+0800]“GET/ikmedata/cache/fuck.phpHTTP/1.1”4041479“-”“Mozilla/4.0” 58.255.120.95199.27.128.216––[30/Oct/2011:06:01:27+0800]“GET/data/cache/fuck.phpHTTP/1.1”4041479“-”“Mozilla/4.0” 58.255.120.95199.27.128.216––[30/Oct/2011:06:01:27+0800]“GET/data/cache/fuck.phpHTTP/1.1”4041479“-”“Mozilla/4.0”
又一个坑爹的，无尽无穷的扫描，非常恶心。
二、屏蔽恶意UserAgent
使用.htaccess屏蔽UserAgent的方法很多，这里使用rewrite规则把这些UserAgent转移走，以达到屏蔽的效果。
RewriteCond%{HTTP_USER_AGENT}“.*EmbeddedWB.*”[OR]
RewriteCond%{HTTP_USER_AGENT}“.*QunarBot.*”[OR]
RewriteCond%{HTTP_USER_AGENT}“.*Windows98.*”[OR]
RewriteCond%{HTTP_USER_AGENT}“^Mozilla/4.0$”
RewriteRule^(.*)$http://cao.ni.ma/
使用.htaccess需要了解一些正则表达式语法，以正确匹配字符串。
如果你觉得有用，屏蔽恶意UserAgent�0�2前，不妨先分析一下自己的网站日志，根据自己的需要定制。可以使用Firefox+UserAgentSwitcher测试效果，Chrome也有类似的切换User�0�2Agent的扩展程序。