怎样屏蔽360爬虫
不邀自来。 我的做法和题主类似,也是通过识别 User-agent。不过,题主采用的是 403(禁止),我采用了 301 (永久移动)。因为你禁止后它可能还会再来,但是永久移动之后它可能就不来了。当然,我采用的是修改 .htaccess 文件(Apache),不过,思路应该是一样的。有需要的朋友可以试试看。RewriteCond %{HTTP_USER_AGENT} .*(360Spider) RewriteRule ^.*$ http://zheshiyigebucunzaidewangzhan.com/ RewriteCond %{HTTP_USER_AGENT} .*(360spider) RewriteRule ^.*$ http://zheshiyigebucunzaidewangzhan.com/ 另外,这里补充一些关键字:百度:Baiduspider谷歌:Googlebot必应:bingbot雅虎:Yahoo好搜(360):HaosouSpider宜搜:YisouSpider搜狗:Sogou web spider可以按需替换上述内容里的关键字。
■网友
判断http头中的user-agent,如果是360蜘蛛,返回404即可
■网友
我记得360浏览器自己改UA的
■网友
360综合搜索爬虫“360蜘蛛”正式推出自己看教程吧
推荐阅读
- 聪明人养花,这3种“花”怎样也要养一盆,每年能省不少医药费
- 山东检验检测机构数量超3600家数量居中国首位
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起,QQ钱包开始提现收费
- 银行it人怎样转型
- 汽车|冬天怎样让车内温度快速升高?座椅加热的最佳使用方式二,外循环的作用总结
- 怎样进入通信行业
- 怎样评价扶他柠檬茶的小说《云养汉》的结尾
- 怎样成为一名合格的Python程序员?
- 怎样评价华为、诺基亚、中兴中标中国移动高端路由交换设备扩容集采
