江苏龙网

  1. 主页 > 生活百科 > >

某些音乐只能听一分钟？Python绕过反爬，完美下载音乐( 二 )

Python


文章插图
 

某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 
?
 
可以看到这个rid获取的地址中有key值是url编码很轻松就可以解码：
 
import requestskeywords = '%E5%BE%80%E4%BA%8B%E9%9A%8F%E9%A3%8E'print(requests.utils.unquote(keywords))# 往事随风 
某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 
而pn=1意思就是第一页嘛，30就是这一页总共30条音乐数据咯，1代表状态码请求成功，而最后reqId这个值如何获取呢？
某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 

某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 
?
 
有能力的自己去逆向JavaScript，而咱们这里直接把这里的参数都删除掉，同样可以访问到咱们的rid，为什么呢？
 
当你访问百度的时候
某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 

某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 
?
 
可以看到多余了很多你看不懂的参数，而这些参数实际上可以直接删除掉！
某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 
?
 
结果是一样的，这个就叫参数冗余 。
 
CSRF攻击与防御 
当咱们直接访问这个链接却出现这样的画面？
某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 
?
 
而咱们如果把请求头全部放到咱们的pycharm中利用Python模拟发送请求却可以成功（自行测试）
某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 
?
 
可以看到请求中有一个参数叫csrf，这个叫做防跨站点攻击 。
 
这个就好理解了，当我们用浏览器直接访问的话，尽管可以带cookies，但是咱们是没法携带这个参数的 。而当我们把请求头完整地复制在pycharm中Python运行的话，就可以携带这个参数，那么就可以访问 。
 
目的就是保护此api防止任意情况下都可以随便访问 。
 
而这个csrf参数不就是咱们cookies中的值么？那么是不是咱们首先需要获取cookies？因为cookies会过期啊，为了让你的程序永久有效，那么最好的办法就是自动获取cookies
 
总结 
那么所有的原理都可以搞清楚了
 
首先访问首页获取cookies，然后绕过JavaScript删除多余的参数获取到rid，最后通过rid进行访问获取到音乐源地址（这里的参数也可以删除），最后保存数据！
某些音乐只能听一分钟？Python绕过反爬，完美下载音乐

文章插图
 
代码 
"""author: 善念date: 2021-04-12"""import requestsimport jsonpathfrom urllib.request import urlretrieveimport urllib.parsedef get_csrf():# 保持cookies 维持客户端与服务器之间的会话headers = {'Accept': 'text/html,Application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7','Cache-Control': 'no-cache','Connection': 'keep-alive',# 'Cookie': 'Hm_lvt_cdb524f42f0ce19b169a8071123a4797=1618229629; _ga=GA1.2.1951895595.1618229638; _gid=GA1.2.369506281.1618229638; Hm_lpvt_cdb524f42f0ce19b169a8071123a4797=1618230532; kw_token=ZOMA0RIOLV','Host': 'www.kuwo.cn','Pragma': 'no-cache','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',}s.get('http://www.kuwo.cn/', headers=headers)url = f'http://www.kuwo.cn/api/www/search/searchMusicBykeyWord?key={keyword}&pn=1&rn=30&httpsStatus=1&reqId=a3b6cb30-9b8a-11eb-bc04-b33703ed2ebb'headers = {'Accept': 'application/json, text/plain, */*','Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7','Cache-Control': 'no-cache','Connection': 'keep-alive',# 'Cookie': 'Hm_lvt_cdb524f42f0ce19b169a8071123a4797=1618229629; _ga=GA1.2.1951895595.1618229638; _gid=GA1.2.369506281.1618229638; Hm_lpvt_cdb524f42f0ce19b169a8071123a4797=1618229710; kw_token=UTBATXE1HY','csrf': s.cookies.get_dict()['kw_token'],'Host': 'www.kuwo.cn','Pragma': 'no-cache','Referer': f'http://www.kuwo.cn/search/list?key={keyword}','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',}r = s.get(url, headers=headers)print(r.text)rid = jsonpath.jsonpath(r.json(), '$..rid')[0]print(rid)return riddef get_music_url(rid):url = f'http://www.kuwo.cn/url?format=mp3&rid={rid}&response=url&type=convert_url3&br=128kmp3&from=web&httpsStatus=1'headers = {'Accept': 'application/json, text/plain, */*','Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN,zh;q=0.9','Cache-Control': 'no-cache','Connection': 'keep-alive',# 'Cookie': 'Hm_lvt_cdb524f42f0ce19b169a8071123a4797=1618231398; _ga=GA1.2.52993118.1618231399; _gid=GA1.2.889494894.1618231399; Hm_lpvt_cdb524f42f0ce19b169a8071123a4797=1618231413; _gat=1; kw_token=VBM6N1XEG4P','Host': 'www.kuwo.cn','Pragma': 'no-cache','Referer': f'http://www.kuwo.cn/search/list?key={keyword}','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',}music_url = s.get(url, headers=headers).json().get('url')print(music_url)return music_urldef get_music(music_url):urlretrieve(music_url, f'{urllib.parse.unquote(keyword)}'+'.mp3')def go():rid = get_csrf()music_url = get_music_url(rid)get_music(music_url)if __name__ == '__main__':s = requests.session()keyword = input('请输入您要下载的音乐名字：')keyword = urllib.parse.quote(keyword)go()


推荐阅读


上一篇：买电脑、硬件安全下车必须要做的操作，奸商绝不会告诉你

下一篇：你需要知道的五种常用的编程模型