scrapy怎样获取动态加载页面的url?
动态网页一般两种思路 ，一是找到api接口伪装请求直接请求数据，另一种是没有办法模拟的时候需要渲染环境，具体怎么做和代码，请参考博客(scrapy下的js 渲染环境，官方已经给出解决方案)。(9)分布式下的爬虫Scrapy-关于ajax请求的分析应该如何做(10)分布式下的爬虫Scrapy-关于js渲染请求应该如何做(11)分布式下的爬虫Scrapy-关于js渲染的技巧应该如何做修改另外的话：其实现在的动态网页已经不是啥难题了，验证码，效率，思路才是重要的。
■网友
你再看看，它数据是如何加载的import jsonx = json.loads(response.xpath("//li").xpath("./@data-songitem").extract())print(x)
■网友
题主，我和你遇见了同样的问题，请问你解决了吗？
■网友
动态页面请使用 spynner，内置 webkit 引擎
■网友
【scrapy怎样获取动态加载页面的url?】 ajax加载的页面，使用Network标签页去分析请求的地址及参数规律，就能找到请求的规律了。
推荐阅读
- 聪明人养花，这3种“花”怎样也要养一盆，每年能省不少医药费
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起，QQ钱包开始提现收费
- 银行it人怎样转型
- 汽车|冬天怎样让车内温度快速升高？座椅加热的最佳使用方式二，外循环的作用总结
- 怎样进入通信行业
- 怎样评价扶他柠檬茶的小说《云养汉》的结尾
- 怎样成为一名合格的Python程序员?
- 怎样评价华为、诺基亚、中兴中标中国移动高端路由交换设备扩容集采
- 怎样评价类似前橙会、百老汇、南极圈这样类型的离职帮抱团，对企业的积极意义和消极意义