有面向 SNS 的爬虫吗

SNS对爬虫防范的措施很好的,之前试了一下,但是只能爬取自己相关的及自己的好友,如果要是你真的能从其他入口能爬取到SNS的数据,那么显然,你已经攻入了SNS。
■网友
需要登录查看内容的网站可以选择给搜索引擎提供爬虫用的帐号。
■网友
qq空间非官方接口还是可以用的。 大概20用户/s。DengYiping/Shuoshuo_crawler · GitHub 有问题可以联系我,欢迎大家fork 可以看看我的这个原理介绍 Crawling Chinese Social Network
■网友
曾经想写一个抓取qq好友关系的爬虫,稍微分析过,暂时没有发现好的抓取入口,受限于精力,没有继续。哪位有兴趣做的,可以互相交流。
■网友
有那么多对社会网络分析的,显然是有数据才能分析。数据的来源一部分是公开发布的数据,这些数据要么是混淆过的,要么是被抽象过的。那另一部分的数据来源,自然就是通过爬虫爬取的。只是自己写的爬虫,质量有优劣之分了。
■网友
没有的吧,因为要保护用户的个人隐私,不然爬虫把用户的个人信息给泄露了
■网友
以新浪微博为例, 他们都提供了专门的获取接口 API。只是,获取数据的效率(QPS) 较低。


    推荐阅读