GitHub 上有哪些优秀的 Python 爬虫项目( 七 )
github地址：https://github.com/hanc00l/wooyun_public
12、spider– hao123网站爬虫。
以hao123为入口页面，滚动爬取外链，收集网址，并记录网址上的内链和外链数目，记录title等信息，windows7 32位上测试，目前每24个小时，可收集数据为10万左右
github地址：https://github.com/simapple/spider
13、findtrip – 机票爬虫（去哪儿和携程网）。
Findtrip是一个基于Scrapy的机票爬虫，目前整合了国内两大机票网站（去哪儿 + 携程）。
github地址：https://github.com/fankcoder/findtrip
14、163spider – 基于requests、MySQLdb、torndb的网易客户端内容爬虫
github地址：https://github.com/leyle/163spider
15、doubanspiders– 豆瓣电影、书籍、小组、相册、东西等爬虫集
github地址：https://github.com/fanpei91/doubanspiders
16、QQSpider – QQ空间爬虫，包括日志、说说、个人信息等，一天可抓取 400 万条数据。
github地址：https://github.com/LiuXingMing/QQSpider
17、baidu-music-spider – 百度mp3全站爬虫，使用redis支持断点续传。
github地址：https://github.com/Shu-Ji/baidu-music-spider
18、tbcrawler– 淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息，数据存储在mongodb。
github地址：https://github.com/pakoo/tbcrawler
19、stockholm – 一个股票数据（沪深）爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。
github地址：https://github.com/benitoro/stockholm
20、BaiduyunSpider-百度云盘爬虫。
github地址：https://github.com/k1995/BaiduyunSpider
21、Spider-社交数据爬虫。支持微博,,豆瓣。
github地址：https://github.com/Qutan/Spider
22、proxy pool-Python爬虫代理IP池(proxy pool)。
github地址：https://github.com/jhao104/proxy_pool
23、music-163-爬取网易云音乐所有歌曲的评论。
github地址：https://github.com/RitterHou/music-163
■网友
python爬虫项目首推，you-get
支持的类型可谓是很全面：视频、音频、图片
支持的网站更可谓是十分的全！！！
上面这只是一部分，全量的数据，请大侠移步与：https://github.com/soimort/you-get?utm_source=gold_browser_extension
你继续问还有么？
那必须呀！
爬取各种排行榜数据
shengqiangzhang/examples-of-web-crawlers进行基金或者股票监控
推荐阅读
- 医院|感染艾滋病毒初期有哪些征兆？可以自行检查吗？共用马桶会传染吗
- 玩游戏花钱最多的有哪些游戏，哪些人
- 旅行|需要准备哪些物品？全面冬季出游清单，建议收藏带宝宝出门旅行
- 红米手机通过QQ空间的成功营销，给涉足社会化营销的企业有哪些启示
- 互联网在线音乐行业有哪些可能的盈利模式
- 直播会成为品牌传播的另一个途径么有哪些可行的方法感觉有戏又没头绪好捉急。
- 侧重业务逻辑的产品需求规格说明书，需要有哪些要点
- 大学|上海大学第8，前10名有哪些高校？上海市30所大学排名
- 小米手机的指纹信息保管安全吗
- 学图像处理有哪些不错的书推荐