江苏龙网

  1. 首页 > 生活 > >

爬虫怎样抓取b站评论，弹幕等内容( 二 )


//*/script/text()
2.在这个标签中有一个函数，这个函数的参数列表中有一个参数就是这个视频的cid
EmbedPlayer(\u0026#39;player\u0026#39;, "//static.hdslb.com/play.swf\u0026amp;amp;amp;amp;amp;amp;quot;,\u0026amp;amp;amp;amp;amp;amp;quot;cid=16333493\u0026amp;amp;amp;amp;amp;amp;amp;aid=9879610\u0026amp;amp;amp;amp;amp;amp;amp;pre_ad=0");
3. 用正则找到这个cid 然后请求 "http://comment.bilibili.com/\u0026lt;之前查到的cid\u0026gt;.xml" （对应我找到的这个视频就是http://comment.bilibili.com/163334933.xml）这个地址。得到的响应就是弹幕的列表。
既然用python的话应该简单一点就是request+bs。 bs这里既可以解析最初得到的html也可以解析最后一步的xml。 我是小白所以最后没有完整的代码

■网友
你好~评论正好前几天爬取过了。可以来我的个人博客看看~我也是初学希望可以对你有帮助~python爬虫，获得动态加载的数据 - Lz1y\u0026amp;amp;amp;amp;amp;#x27;s blog B站弹幕 我也没有找到接口，还在琢磨中~
---------------------------------------------
捉摸出来了！确实如楼上老哥所说，不过观察发现cid和av号并无直接关系，直接用request+re正则匹配
r\u0026#39;cid=(.*?)\u0026amp;aid=\u0026#39;
即可！获得cid
之后就很简单了，bs4解析下xml，弹幕也很规矩的放在p标签中。
Python爬虫,爬取b站弹幕（动态加载） - Lz1y\u0026amp;amp;#x27;s blog上面是我刚写的爬取弹幕的代码

■网友
谢邀，用浏览器开发者工具抓包（我用的是Firefox），分析HTTP协议（b站获取数据的数据包基本上都没啥混淆加密的内容，分析起来比较简单的），然后通过Python的urllib爬取。大概就这样，如果想了解详细的话可以去网易课堂之类的看看。

■网友
因为学期project的缘故，需要分析b站同一个视频下面的弹幕和评论，所以特别的研究了一下，然后抓了大概100多个视频的评论和弹幕。
b站的视频有两个相关的id number，一个是cid，一个是我们都知道的AV number。抓取弹幕需要的是cid。最简单的方法是直接查看网页源代码搜索cid，这样就可以得到单独一个视频的cid了。然后通过这个网址就可以得到相关视频的弹幕“http://comment.bilibili.com/“ + cid + “.xml“。 不过问题在于，因为b站弹幕的设置问题，每个视频是有一个弹幕上限的。 如果数量到达一定数量，就会被清理。所以这个方法只能得到香瓜能视频下面现在的弹幕。 当然如果批量处理的话，需要用正则去搜索这个cid，然后通过这个url去处理一下xml structure的文件。
对于评论，需要的是每个视频的av number。通过以下这个网址，就可以得到该视频下面的评论 “http://api.bilibili.cn/feedback?aid=“+ av number。这个网址会返还utf-8格式下面的第一页评论和三条热门评论。也可以通过额外设置URL （\u0026amp;page= 和\u0026amp;pagesize=），来设置一次返还最多多少的评论和第几页的评论。pagesize最大好像是300.
大概就是这么多。完整具体的自动抓取代码会在我稍微编辑代码之后上传到github

■网友
第一步：找到视频视频的cid
我的方法是postman请求视频的所在页面。
爬虫怎样抓取b站评论，弹幕等内容

通过搜索功能找到视频cid
爬虫怎样抓取b站评论，弹幕等内容

第二步：http获取弹幕的xml文件
https://comment.bilibili.com/{$cid}.xml 这个是bilibili弹幕的开放API，把找到的cid填上就可以获取到弹幕啦


推荐阅读


上一篇：「奔驰S级」中期改款奔驰E级伪装车现身 年中上市 这造型你会买单吗？

下一篇：汇编这门语言是由谁写的（不是指课本）