Python爬虫用了高匿名代理ip,爬快了为啥还是会封掉本机ip
1.代理可能并不高匿。你可以使爬虫访问您的IP地址,来检测代理是否生效。2.服务器可能通过请求头中的X-Real-IP、X-Forwarded-For等信息来获取真实ip。可以在发起请求时伪造这些值。下面是我用于投票的一部分代码(nodejs):function postRequest(url,data,callback,charset=\u0026#39;utf8\u0026#39;,cookie){ var proxy = getProxy(\u0026#39;https\u0026#39;); console.log("Posting through proxy @ "+proxy) SA.post(url) .proxy(proxy) .set("Cookie",cookie) .set(\u0026#39;User-Agent\u0026#39;,randomUA()) .set(\u0026#39;X-Forwarded-For\u0026#39;,randomIP()) .set(\u0026#39;X-Real-IP\u0026#39;,randomIP()) .set(\u0026#39;Content-Type\u0026#39;,\u0026#39;application/x-www-form-urlencoded\u0026#39;) .send(data) .timeout(5000) .end(function(err,res){ if (typeof(res)!="undefined"){ callback(res); }else{ console.log("Conect failed, try next proxy "); postRequest(url,data,callback,null,cookie) } });}获取代理ip,可以使用我写的这个脚本:Pingze-github/proxy-finder
■网友
每个ip有生存期
■网友
【Python爬虫用了高匿名代理ip,爬快了为啥还是会封掉本机ip】 那怎么鉴别买的IP是不是高匿名呢?
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫,咋获得输入验证码之后的搜索结果
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 零基础入门学习啥语言好
- Python3.4和3.5区别大么
- python 中 def_():...... return _有啥作用
- 新互联网网站用Java还靠谱么对比Php,Python,Ruby的话
- 30岁男,创业失败转行学python,是否很晚?也不好找工作?
- Python 的开发速度比 C#.net 或 Vb.net 更快吗?
- 1、相同的网址,为啥浏览器http和https都能登录,而爬虫不行\n2、网页下载内容不全
