python爬虫遇到ajax,怎样模拟这个请求
哈哈哈哈哈!!!你们老板是想爬汤不热的资源吗??其实遇到Ajax也不会有多大问题,因为Ajax一般返回的是json,解析出来更方便!用requests对网址post,返回json,解析json不过用手机码字,没办法实践,有空再说吧!另外!!!如果需要解析tumblr资源,给你个网址:http://xxx.tumblr.com/api/read?start=0\u0026amp;num=50xxx是你要解析的ID,start是从该博客第几条开始解析,num是指一次获取几条博客少年,尽情享受吧
■网友
如果你用requests.将这些数据组成一个字典data = https://www.zhihu.com/api/v4/questions/48414708/{"sort": "top","before":"25" ......}requests.post(url, data=https://www.zhihu.com/api/v4/questions/48414708/data)
url也是变的.
■网友
解析真实请求地址,然后根据他的规则去构造地址,例如切换url里面的地址啊之类的就行了。
ajax返回的数据一般都是格式化的,比解析html还方便。
■网友
请问大家 怎么让爬虫请求ajax后面的真实地址频率跟ajax的频率一致啊?
不一致会不会容易被封?时间长了对方不响应啊
我的简单爬虫 获取不停变动的数字 时间长总是10060连接不响应。
■网友
【python爬虫遇到ajax,怎样模拟这个请求】 遇到这样的多开心,返回的全是需要的数据,直接请求返回json的url,请求的时候把data加上,如果需要cookie的话,把cookie也加上~,然后把json转成字典,直接用key 取值
■网友
另外的方式,就是利用类似splash的机制,去请求这个页面动态执行JS/AJAX
■网友
楼上说的很清楚,Ajax一般返回的是json,直接使用requests对ajax地址进行post或get,返回json,解析json
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫,咋获得输入验证码之后的搜索结果
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 中年|开车遇到“锯齿车道”,新手司机勇往直前,老司机驾照还有分吗
- 分享分享你生活中除游戏外,遇到过哪些恨电脑配置不够的情况
- 零基础入门学习啥语言好
- Python3.4和3.5区别大么
- python 中 def_():...... return _有啥作用
- 新互联网网站用Java还靠谱么对比Php,Python,Ruby的话
- 躲开|跑高速时遇到小动物,躲开还是撞上去?记不住别开车
