想用python把知乎目前全部live数据爬下来咋操作比较好
现阶段爬虫除了Python外,爬虫的软件市面上挺多的,各有千秋,可以考虑试一下。
八爪鱼采集器是模拟人浏览网页时思维逻辑去设计的一款产品,操作简单,现更是推出了新的智能识别功能,只需三步即可快速采集批量数据,页面是否运用了ajax技术或者开新标签都能自动识别得到,也提供API接口方便用户调用导出自己的系统,目前软件里有俩个现成的模板,只需输入特定参数就能采集的到数据,十分方便,有兴趣可以了解一下。
八爪鱼下载链接
■网友
根据这个json链接,挨个打开每个页面获取数据就可以了吧
【想用python把目前全部live数据爬下来咋操作比较好】
具体时间 和价格需要打开每个页面才能获取到...当htmls为空的时候结束就行.
■网友
我是用无编码编程爬的,然后价格一个个手打的。。。
推荐阅读
- 为啥知乎上普便有一种【我在北上广深打工,所以拥有更好的视野】这样的错觉
- 怎样成为一名合格的Python程序员?
- 知乎有没有必要增加一个特别关注功能
- python 爬虫,咋获得输入验证码之后的搜索结果
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 知乎上关于人生经验的介绍是否可能对青少年造成潜在危害
- 零基础入门学习啥语言好
- 像知乎豌豆夹这种新兴互联网公司发展的实际状况咋样
- 只看报纸、杂志、知乎、微博等文字而很少阅读书籍的人,和喜欢看书的延迟接受信息的人,哪种会比较优秀呢
- Python3.4和3.5区别大么
