搜狗微信数据爬取
【搜狗微信数据爬取】 我有一个方案，但估计你很难做到
八爪鱼是有做APP采集的
这个方案就是直接APP采集，直接采集APP公众号里面的文章
现在的搜索引擎算法都很聪明，你没有分布式的爬虫，很难突破
■网友
之前是访问过多，弹出验证码页面，输入后可以继续爬最近太频繁爬取的话就会返回你说的“未知错误，请稍后重试”，出现后更换代理IP就可以了。在爬公众号近500多个，每天定时任务5轮，已经稳定运行一段时间了
■网友
搜狗还限制cookie。可以维护一个cookie库，代理数量不多的情况下，尝试一下cookie和ip轮流换。搜狗微信上的公众号不全，文章也不全，还是模拟微信登录好用。
■网友
“未知错误，请稍后重试”似乎是域http://mp.weixin.qq.com才有的提示，换ip即可；搜狗的反爬虫只是提示输入验证码。
■网友
账号链接打开看请求头里面没有cookie的事，不知道微信现在的反爬虫的机制是什么，
■网友
使用微信手机客户端爬取，已经实现了
推荐阅读
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 联合国大数据全球平台中国区域中心在杭州成立
- 银行的数据中心可以跳槽去互联网公司吗
- 甲醛超标|造谣早教中心甲醛超标致幼儿患病 如东一知名微信公众号被判担责
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- 数据采集终端|
- 关于用phpfsocket 写Post， 模拟http 报文怎样写入要传输的处理数据
- 关于微信小程序的思考：运营者该何去何从
- 啥是微信开发WEB前端
- 假如把中国电信监测到的3亿人一个月每天上网的所有行为打个包，哪些数据应该被提出从这些数据能得到啥