要从一个网站抓几个页面，但是抓到第500多个的时候，被对方屏蔽了ip好像。最终用了迅雷，有没有啥不这么2办法
伪装UserAgent为主流浏览器，或主流搜索引擎;伪装refer为网站主页;控制速率;设置一些常用的http header, 如：Accept，Accept-Charset，Accept-Encoding，Accept-Language如果可设置cookie，尽量设上做好这几步，除了你的程序不能运行js和渲染页面外，基本就是一个浏览器了
■网友
一般政府网站都是有封IP防采措施的。
八爪鱼采集器提供优质代理ip，可不断通过切换ip来采集更多的数据。
https://www.bazhuayu.com/
■网友
偶尔可以完全突破些较烂的防采集机制的方法：1. 伪装Useragent并随机轮换2. 伪装Uesragent为Baiduspider3. 伪装IP其实量很小的情况下，也或许可以隔几秒抓一次，睡一觉之后也完成了。
■网友
只针对一个网站的话，租几个Proxy，抓完了就退掉呗：）
■网友
代理IP
■网友
【要从一个网站抓几个页面，但是抓到第500多个的时候，被对方屏蔽了ip好像。最终用了迅雷，有没有啥不这么2办法】 代理ip吧，控制速度
推荐阅读
- 同比■同比增长7.1%！2021年的第一个节你花了多少钱？
- “他是我第一个会说普通话的老师”：一对师生折射青海山村蝶变
- 有必要重新开个C店吗
- 大学再有三个月就结束了，没学到知识，参加一个软件测试培训机构好吗
- 汽车|长安UNI-K又将开创一个新的"引力"纪元？
- 有啥方法，网站，项目可以自己练习计算广告学
- 神话|武汉传奇父亲：一个平行班孩子创造的高考神话（感动上万家长）
- 王者荣耀李白能不能出肉
- 直播会成为品牌传播的另一个途径么有哪些可行的方法感觉有戏又没头绪好捉急。
- 设计专业学生上传自己的作品，用哪个网站比较好