咋实现一个增量式网络爬虫且咋保证这种爬虫的效率呢
pull方式获取的数据没有任何办法被动获得更新。实际上就是重新遍历一遍看看是否有更新。想要被通知更新得使用push方法，但是这对网页爬取无效。
■网友
crawler的吞吐是有限的，想要保证爬虫效率需要在crawler中增加实效性的feature,乃至实效性模块。以为题主的场景为例，可以以同一个url两次更新之间的时间作为提高或降低爬取周期的因子。
推荐阅读
- 同比■同比增长7.1%！2021年的第一个节你花了多少钱？
- “他是我第一个会说普通话的老师”：一对师生折射青海山村蝶变
- 北京22家市属医院均开展安检基本实现重点区域安检措施全覆盖
- 长江流域渔民退捕“上岸”实现扩产新致富
- 实现“甜蜜计划”，这对中哈跨国夫妻好甜
- 北京地铁11号线西段三座车站提前实现主体结构封顶
- 有必要重新开个C店吗
- 大学再有三个月就结束了，没学到知识，参加一个软件测试培训机构好吗
- 汽车|长安UNI-K又将开创一个新的"引力"纪元？
- 神话|武汉传奇父亲：一个平行班孩子创造的高考神话（感动上万家长）