apache禁止搜索引擎收录、网络爬虫采集的配置方法
Apache中禁止网络爬虫，之前设置了很多次的，但总是不起作用，原来是是写错了，不能写到Dirctory中，要写到Location中
<Location/> SetEnvIfNoCaseUser-Agent"spider"bad_bot BrowserMatchNoCasebingbotbad_bot BrowserMatchNoCaseGooglebotbad_bot OrderDeny,Allow #下面是禁止soso的爬虫 Denyfrom124.115.4.124.115.0.64.69.34.135216.240.136.125218.15.197.69155.69.160.9958.60.13.121.14.96.58.60.14.58.61.164.202.108.7.209 Denyfromenv=bad_bot </Location>
这是禁止了所有包含spider字符的爬虫。
如果要针对性的禁止爬虫，改成精确匹配的爬虫字符串，如果bingbot、Googlebot等等
热门推荐
3 祝福语简短的微信
10 幼儿祝福语大全简短贺卡
11 感谢教官文案祝福语简短
12 鼠年同事祝福语简短创意
13 元旦祝福语 简短独特群发
14 妈咪跟我生日祝福语简短
15 给儿子新婚祝福语简短
16 伴娘祝福语长文案简短
17 恭喜高考完祝福语简短
18 生日祝福语送老公简短