Python 爬取的网页代码会有缺失的现象
因为这个世界上有个东西叫做js,有项技术叫做ajax,所以目前的大多数网页,我们看到的效果并不是html本身的内容,而是在此基础之上执行js后修改dom重新填充得来的内容。
■网友
谢邀, 前几天看到这个了,研究了一下,图片地址应该是用这段js加密了,如果没法解密,只能用selenium驱动chrome或者PhantomJS来获取图片地址.
■网友
我是想告诉你最后解密内容是一段 js 【Python 爬取的网页代码会有缺失的现象】 
非利益相关,然后 你会在 其他的js里边看到加密过程。如果有精力可以尝试解密,如果没有精力此种情况下确实有必要使用selenium 这样的工具了。当然如果我是竞业公司,我会选择去模拟着一段js的解密过程,当然会是一个挺长,但是不会是不可接受的时间长度。毕竟虽然压缩过内容,也是可以解析出一定内容的。当然暴露了这样的函数。然后我们执行里边的函数
最后我们得到一个这样的 json 数据。我们就可以知道这个js 解密的过程了。如果需要后续模拟,就没人点个赞吗。。。。
■网友
http://p.yogajx.com/ps4/g/%E5%8F%A4%E6%83%91%E4%BB%94/Vol_001/seemh-009-a1bf.jpg.webphttp://p.yogajx.com/ps4/g/%E5%8F%A4%E6%83%91%E4%BB%94/Vol_001/seemh-010-2b8c.jpg.webphttp://p.yogajx.com/ps4/g/%E5%8F%A4%E6%83%91%E4%BB%94/Vol_001/seemh-011-14cd.jpg.webphttp://p.yogajx.com/ps4/g/%E5%8F%A4%E6%83%91%E4%BB%94/Vol_001/seemh-012-9497.jpg.webp最后尾数看起来无规律啊
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫,咋获得输入验证码之后的搜索结果
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 运营商收取的流量费用价格是否合理
- 零基础入门学习啥语言好
- PS网页版
- 网页设计和嵌入式哪个发展好一点?
- Python3.4和3.5区别大么
- Foxmail、Outlook等邮件客户端,哪个综合体验更好,与网页邮箱相比又怎样
- python 中 def_():...... return _有啥作用
