对于贴吧、论坛内容，爬虫怎么样实现增量抓取?
这属于判重问题，可以看看Bloom Filter，python实现的话github上有现成的Scalable Bloom Filter implemented in PythonWelcome to Python BloomFilter’s documentation!scrapy实现的话可以看看基于python的scrapy爬虫，关于增量爬取是怎么处理的？ - 用户的回答
推荐阅读
- 第二届江苏慈善论坛在南京开幕
- 5.1声道片源对于没有5.1硬件系统的用户来说有意义吗
- |常州天宁：检察建议让“忙道”回归盲道
- 英雄联盟快捷键Q、E、R咋操作呢
- 猫扑网南迁广西，媒体唱衰BBS，论坛的未来会怎么样怎样改变
- 福步外贸论坛网特点是啥
- 2017年iPhone性价比最高的是哪款产品
- 有没有办法下有版权的歌
- 一点科技|2020中国网络安全产业高峰论坛：360斩获工信部三大殊荣
- 友盟对于日活是怎么样统计的