对于10w+微博用户,使用selenium爬取所有基本信息和近一年微博速度很慢咋办

【对于10w+微博用户,使用selenium爬取所有基本信息和近一年微博速度很慢咋办】 要速度快最好使用八爪鱼这样的分布式的爬虫工具,这样有大量的云采集节点同时并行,速度就很快了。Selenium不是问题,问题是你一台电脑ip有限,没法跑太快的。


    推荐阅读