有面向 SNS 的爬虫吗
SNS对爬虫防范的措施很好的,之前试了一下,但是只能爬取自己相关的及自己的好友,如果要是你真的能从其他入口能爬取到SNS的数据,那么显然,你已经攻入了SNS。
■网友
需要登录查看内容的网站可以选择给搜索引擎提供爬虫用的帐号。
■网友
qq空间非官方接口还是可以用的。 大概20用户/s。DengYiping/Shuoshuo_crawler · GitHub 有问题可以联系我,欢迎大家fork 可以看看我的这个原理介绍 Crawling Chinese Social Network
■网友
曾经想写一个抓取qq好友关系的爬虫,稍微分析过,暂时没有发现好的抓取入口,受限于精力,没有继续。哪位有兴趣做的,可以互相交流。
■网友
有那么多对社会网络分析的,显然是有数据才能分析。数据的来源一部分是公开发布的数据,这些数据要么是混淆过的,要么是被抽象过的。那另一部分的数据来源,自然就是通过爬虫爬取的。只是自己写的爬虫,质量有优劣之分了。
■网友
没有的吧,因为要保护用户的个人隐私,不然爬虫把用户的个人信息给泄露了
■网友
以新浪微博为例, 他们都提供了专门的获取接口 API。只是,获取数据的效率(QPS) 较低。
推荐阅读
- python 爬虫,咋获得输入验证码之后的搜索结果
- 1、相同的网址,为啥浏览器http和https都能登录,而爬虫不行\n2、网页下载内容不全
- 汽车|新雷克萨斯LS上市,不耀眼,亦有光★ 一款“用心”打造的车★ 一款面向未来的车★ 一款关怀备至的车★ 结语
- 咋看美团配送面向全国招募加盟商这件事
- |65122个岗位面向全国虚席以待 江苏企事业单位组团“招兵买马”
- 人才需求|65122个岗位面向全国招聘 江苏企事业单位组团招兵买马
- 怎样对比面向绘图设计类用户的高端显示器的性能及各项指标
- 汽车|车评台·新车|面向年轻消费市场 哈弗初恋更懂你
- 汽车|车评台·观察|面向下一个十年 广汽本田发布“车生活全价值”战略
- 有哪些小众但是有高质量内容的社区
