对于10w+微博用户,使用selenium爬取所有基本信息和近一年微博速度很慢咋办
【对于10w+微博用户,使用selenium爬取所有基本信息和近一年微博速度很慢咋办】 要速度快最好使用八爪鱼这样的分布式的爬虫工具,这样有大量的云采集节点同时并行,速度就很快了。Selenium不是问题,问题是你一台电脑ip有限,没法跑太快的。
推荐阅读
- 5.1声道片源对于没有5.1硬件系统的用户来说有意义吗
- |常州天宁:检察建议让“忙道”回归盲道
- 新浪微博创新基金投资了哪些团队
- 微博目前已经支持文本,图片,位置分享,为啥没有语音和视频呢微博的pm肯定想过这两种微博形态,但迟迟不做的原因到底是啥。是语音和视频不符合产
- 英雄联盟快捷键Q、E、R咋操作呢
- 请问杨毅微博中的这两人是谁
- 只看报纸、杂志、知乎、微博等文字而很少阅读书籍的人,和喜欢看书的延迟接受信息的人,哪种会比较优秀呢
- 2017年iPhone性价比最高的是哪款产品
- 友盟对于日活是怎么样统计的
- 新浪微博之类平台,怎样抵御群体性人身攻击
