爬虫过程中ip被封，咋解决
要不减速要不代理
不然过不去的
这种封ip还是好的，有些网站不封却给你假数据
■网友
代理ip池是最靠谱的，github上面有代理ip池的代码，你爬取一段时间就能有个几百个，虽然有很多不能用，但是顶不住ip总量大，成功率还是有保证的；某些情况下，如果用代理ip池后依然被封，就是对方的服务器用反向代理得到你真实的ip地址，你可以用多次代理（套娃）解决这个问题。、最后如果你觉得免费代理的ip的质量不行，满足不了需求，还可以用付费的ip，或者自己搞一个拨号服务器；这几个方案的成本递增，当然成功率也越高。
■网友
在爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力，所以如果一直用一个ip爬取这个网页，很有可能ip会被禁止访问网页，所以基本上做爬虫的都躲不过去ip的问题。
通常情况下，想要做好爬虫工作，选择爬虫ip还是十分重要的。芝麻爬虫ip不仅可以隐藏我们的ip，保证爬虫工作的顺利进行。还可以增加缓冲以达到提高访问速度的目的，通常代理服务器都会设置一个很大的缓冲区，这样当网站的信息经过时，就会保存下来相应的信息，下次再浏览同样的网站或者是同样的信息，就可以通过上次的信息直接调用，这样一来就很大程度上的提高了访问速度。
■网友
【爬虫过程中ip被封，咋解决】 有用，代理ip的功能就是代理用户去获取网络信息，之后再把相应的信息反馈给客户。用一个比较靠谱的比喻来说代理服务器相当于一个中介的环节。它是网络信息的中转站。通过代理IP访问目标网站，可以隐藏用户的真实IP地址。
例如要想要抓取一个内容有100万条的网站，但是他们设置了IP限制，每个小时只有1000条可以抓，如果你使用同一个IP，并且保持不变，那么想要抓取所有的信息，你要花费40天的时间。但是如果你更换不同的IP地址，就可以提高数据采集的效率。
代理IP分为静态IP、动态IP、独享IP，如果是共享类型的IP，这是从全网扫描来的，稳定性较差，爬虫是肯定不适合做的。自己没事玩玩还好。如果是做爬虫的话，用芝麻代理IP自建服务器，稳定性是非常可靠的。
■网友
休眠设长点，代理ip池GitHub有现成的，不过用的是免费ip，质量堪忧。
看你的数据价值有多高，高的话用付费ip，基本有用，只是练手的话，用现成的ip池就够了
推荐阅读
- 西藏航空一机长执飞过程中身体不适降落后送医去世
- 正点财经|
- python 爬虫，咋获得输入验证码之后的搜索结果
- 大三学生准备日本留学过程中要不要准备考研
- 1、相同的网址，为啥浏览器http和https都能登录，而爬虫不行\n2、网页下载内容不全
- 自学编程过程中离散数学的学习是否必要
- 微信朋友圈被封，无法发布朋友圈。该咋样尽快解封
- 产品是国产平板电脑，品牌是我们自己创立，名不见经传的品牌，但绝非山寨！在百度竞价过程中，选择啥样的关键词，能获得最大的销售量
- 网约车司机送客进小区后被封闭，“滞留”变“志愿”
- caffe 怎样计算训练和测试过程中所耗时间