有啥好的scrapy开源项目值得学习

谢邀。最近用scrapy实现了一款高可用的分布式IP代理池,分布式的思路主要参照的scrapy-redis。无论你是想看看scrapy的各个处理流程还是想看关于分布式爬虫的一些设计之类的,都可以好好阅读一下。核心代码并不难懂。提供人肉解惑

项目地址:
https://github.com/SpiderClub/haipproxy

■网友
谢邀
我比较推荐scrapy-redis 能把源码看懂吃透,基本scrapy的机制就明白得八九不离十了,还能顺便学学分布式。

■网友
谢邀。

你可以看看这种:
https://github.com/geekan/scrapy-examples
【有啥好的scrapy开源项目值得学习】 如果你愿意接受 ,你可以看这种(那个啥。。。注意身体)
xiyouMc/WebHubBot


    推荐阅读