Python爬虫怎样优化内存
没有代码谈和优化况且如果结束了还占着1.2GB内存，要么处理机制不对，要么内存泄漏。
■网友
【Python爬虫怎样优化内存】 题主的问题解决了吗，我也是用了requests写的爬虫，一开始一个线程差不多50M内存，然后开始持续匀速上升，不知道为什么
■网友
不知道是不是相同情况，我以前用 concurrent.futures 的 ThreadPoolExecutor 爬几十万 request时，也遇到过内存占用过大的问题。不知道是写的代码的问题还是模块本身的原因，线程任务执行完后，并没有释放任务相关全部内存，导致线程切换内存后，内存暂用就越来越高了。
最后解决办法是用把任务 几百个/ chunk 分成后，用 for loop 和 with 多线程 Pool 执行 chunk 数据，每个 chunk 数据执行完后，清空占用内存，问题也得到解决了。
推荐阅读
- 聪明人养花，这3种“花”怎样也要养一盆，每年能省不少医药费
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起，QQ钱包开始提现收费
- 银行it人怎样转型
- 汽车|冬天怎样让车内温度快速升高？座椅加热的最佳使用方式二，外循环的作用总结
- 怎样进入通信行业
- 怎样评价扶他柠檬茶的小说《云养汉》的结尾
- 怎样成为一名合格的Python程序员?
- 怎样评价华为、诺基亚、中兴中标中国移动高端路由交换设备扩容集采
- 怎样评价类似前橙会、百老汇、南极圈这样类型的离职帮抱团，对企业的积极意义和消极意义