怎样爬取知乎的ajax内容?( 二 )
没什么难度的 拿到登录的cookie 请求地址时带上post的值
就能拿到offset 代表开始的值 就是从第几个开始拿数据
这里是直接输出来 头像没拿到是 没设置来源的地址吧以上
■网友
研究了下，已经实现了，感谢各位热心的回答呢,
■网友我真的是想跪了，按照上面各位的方法，都试了一遍，但还是不行；还是报错 DEBUG: Crawled (400) \u0026lt;POST https://www.zhihu.com/node/QuestionAnswerListV2\u0026gt; (referer: https://www.zhihu.com/question/20899988)；请大神相助！@莫小平def parse_info(self, response): headers = { \u0026#39;Accept\u0026#39;:\u0026#39;*/*\u0026#39;, \u0026#39;Accept-Encoding\u0026#39;:\u0026#39;gzip, deflate, br\u0026#39;, \u0026#39;Accept-Language\u0026#39;:\u0026#39;zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3\u0026#39;, \u0026#39;Connection\u0026#39;:\u0026#39;keep-alive\u0026#39;, \u0026#39;Content-Length\u0026#39;:\u0026#39;93\u0026#39;, \u0026#39;Content-Type\u0026#39;:\u0026#39;application/x-www-form-urlencoded; charset=UTF-8\u0026#39;, \u0026#39;User-Agent\u0026#39;:\u0026#39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0\u0026#39;, \u0026#39;Referer\u0026#39;:\u0026#39;https://www.zhihu.com/question/20899988\u0026#39;, \u0026#39;X-Requested-With\u0026#39;:\u0026#39;XMLHttpRequest\u0026#39;, \u0026#39;X-Xsrftoken\u0026#39;:response.meta } url = \u0026#39;https://www.zhihu.com/node/QuestionAnswerListV2\u0026#39; yield scrapy.FormRequest( url=url, headers=headers, formdata=https://www.zhihu.com/api/v4/questions/43610586/{ /u0026#39;method/u0026#39;:/u0026#39;next/u0026#39;, /u0026#39;params/u0026#39;:"{\u0026#39;url_token\u0026#39;:20899988, \u0026#39;pagesize\u0026#39;:10, \u0026#39;offset\u0026#39;:10}" }, meta={\u0026#39;cookiejar\u0026#39;: response.meta}, callback=self.parse )
推荐阅读
- 聪明人养花，这3种“花”怎样也要养一盆，每年能省不少医药费
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起，QQ钱包开始提现收费
- 银行it人怎样转型
- 为啥知乎上普便有一种【我在北上广深打工，所以拥有更好的视野】这样的错觉
- 汽车|冬天怎样让车内温度快速升高？座椅加热的最佳使用方式二，外循环的作用总结
- 怎样进入通信行业
- 怎样评价扶他柠檬茶的小说《云养汉》的结尾
- 怎样成为一名合格的Python程序员?
- 知乎有没有必要增加一个特别关注功能