咋用python采集js渲染的页面即网易云音乐歌单列表页的数字( 二 )
■网友
大兄弟 我觉得首先你得学会如何抓包……这并不是一个浏览器解析js生成内容的网页……就一个比较简单的办法吧 以后遇到这种网页不确定到底是ajax交互还是服务器返回的整个网页 比如chrome 就按f12 点开network一栏 刷新页面 就能看见请求的整个过程如果你不知道你需要的数据在哪里 把所有请求的内容都看一眼 发现数据在哪里你就去请求什么
很明显这个才是你需要的请求嘛……
就举个例子说播放次数吧……就这样
■网友
关键在这句吧改为browser.switch_to.frame(browser.find_element_by_xpath("//iframe"))title = browser.find_elements_by_xpath(\u0026#39;//*\u0026#39;)---------- python2 ----------8800646参考:selenium - Web Scraping : Getting HTML source generated from JSP using Python
■网友
用python的话建议用lxml,用chrome打开然后按F12
右键选择
【咋用python采集js渲染的页面即网易云音乐歌单列表页的数字】 import lxml.html.soupparser as soupparserdef createDomTree(url): req = urllib2.Request(url) response = urllib2.urlopen(req) dom = soupparser.fromstring(response) return domdef getCount(url): dom = createDomTree(url) count = dom.xpath(\u0026#39;节点的xpath地址\u0026#39;)然后就可以惹
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫，咋获得输入验证码之后的搜索结果
- 数据采集终端|
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 零基础入门学习啥语言好
- Python3.4和3.5区别大么
- python 中 def_（）：...... return _有啥作用
- 新互联网网站用Java还靠谱么对比Php，Python，Ruby的话
- 30岁男，创业失败转行学python，是否很晚?也不好找工作?
- Python 的开发速度比 C#.net 或 Vb.net 更快吗?