python爬虫遇到ajax,怎样模拟这个请求

哈哈哈哈哈!!!你们老板是想爬汤不热的资源吗??其实遇到Ajax也不会有多大问题,因为Ajax一般返回的是json,解析出来更方便!用requests对网址post,返回json,解析json不过用手机码字,没办法实践,有空再说吧!另外!!!如果需要解析tumblr资源,给你个网址:http://xxx.tumblr.com/api/read?start=0\u0026amp;num=50xxx是你要解析的ID,start是从该博客第几条开始解析,num是指一次获取几条博客少年,尽情享受吧
■网友
如果你用requests.将这些数据组成一个字典data = https://www.zhihu.com/api/v4/questions/48414708/{"sort": "top","before":"25" ......}requests.post(url, data=https://www.zhihu.com/api/v4/questions/48414708/data)python爬虫遇到ajax,怎样模拟这个请求

url也是变的.
■网友
解析真实请求地址,然后根据他的规则去构造地址,例如切换url里面的地址啊之类的就行了。
ajax返回的数据一般都是格式化的,比解析html还方便。

■网友
请问大家 怎么让爬虫请求ajax后面的真实地址频率跟ajax的频率一致啊?
不一致会不会容易被封?时间长了对方不响应啊
我的简单爬虫 获取不停变动的数字 时间长总是10060连接不响应。

■网友
【python爬虫遇到ajax,怎样模拟这个请求】 遇到这样的多开心,返回的全是需要的数据,直接请求返回json的url,请求的时候把data加上,如果需要cookie的话,把cookie也加上~,然后把json转成字典,直接用key 取值

■网友
另外的方式,就是利用类似splash的机制,去请求这个页面动态执行JS/AJAX

■网友
楼上说的很清楚,Ajax一般返回的是json,直接使用requests对ajax地址进行post或get,返回json,解析json


    推荐阅读