基于asyncio 异步协程框架实现收集B站直播弹幕


Posted in Python onSeptember 11, 2016

前言

虽然标题是全站,但目前只做了等级 top 100 直播间的全天弹幕收集。

弹幕收集系统基于之前的B 站直播弹幕姬 Python 版修改而来。具体协议分析可以看上一篇文章。

直播弹幕协议是直接基于 TCP 协议,所以如果 B 站对类似我这种行为做反制措施,比较困难。应该有我不知道的技术手段来检测类似我这种恶意行为。

我试过同时连接 100 个房间,和连接单个房间 100 次的实验,都没有问题。>150 会被关闭链接。

直播间的选取

现在弹幕收集系统在选取直播间上比较简单,直接选取了等级 top100。

以后会修改这部分,改成定时去 http://live.bilibili.com/all 查看新开播的直播间,并动态添加任务。

异步任务和弹幕存储

收集系统仍旧使用了 asyncio 异步协程框架,对于每一个直播间都使用如下方法来加进 loop 中。

danmuji = bilibiliClient(url, self.lock, self.commentq, self.numq)
task1 = asyncio.ensure_future(danmuji.connectServer())
task2 = asyncio.ensure_future(danmuji.HeartbeatLoop())

其实若将心跳任务 HeartbeatLoop 放入 connectorServer 中去启动,代码看起来更优雅一些。但这么做是因为我需要维护一个任务列表,后面会有描述。

在弹幕存储上我花了些时间选择。

数据库存储是一个同步 IO 的过程,Insert 的时候会阻塞弹幕收集的任务。虽然有 aiomysql 这种异步接口,但配置数据库太麻烦,我的设想是这个小系统能够方便地部署。

最终我选择使用自带的 sqlite3。但 sqlite3 无法做并行操作,故开了一个线程单独进行数据库存储。在另一个线程中,100 * 2 个任务搜集所有的弹幕、人数信息,并塞进队列 commentq, numq 中。存储线程每隔 10s 唤醒一次,将队列中的数据写进 sqlite3 中,并清空队列。

在多线程和异步的配合下,网络流量没有被阻塞。

可能的连接失败场景处理

弹幕协议是直接基于 TCP,位与位直接关联性较强,一旦解析错误,很容易就抛 Exception(个人感觉,虽然 TCP 是可靠传输,但B站服务器自身发生错误也是有可能的)。所以有必要设计一个自动重连机制。

在 asyncio 文档中提到,

Done means either that a result / exception are available, or that the future was cancelled.

函数正常返回、抛出异常或者是被 cancel,都会退出当前任务。可以使用 done() 来判断。

每一个直播间对应两个任务,解析任务是最容易挂的,但并不会影响心跳任务,所以必须找出并将对应心跳任务结束。
在创建任务的时候使用字典记录每个房间的两个任务,

self.tasks[url] = [task1, task2]

在运行过程中,每隔 10s 做一次检查,

for url in self.tasks:
  item = self.tasks[url]
  task1 = item[0]
  task2 = item[1]
  if task1.done() == True or task2.done() == True:
    if task1.done() == False:
      task1.cancel()
    if task2.done() == False:
      task2.cancel()
    danmuji = bilibiliClient(url, self.lock, self.commentq, self.numq)
    task11 = asyncio.ensure_future(danmuji.connectServer())
    task22 = asyncio.ensure_future(danmuji.HeartbeatLoop())
    self.tasks[url] = [task11, task22]

实际我只见过一次任务失败的场景,是因为主播房间被封了,导致无法进入直播间。

结论

  1. B站人数是按照连接弹幕服务器的链接数量统计的。通过操纵链接量,可以瞬间增加任意人数观看,有商机?
  2. 运行的这几天中,发现即使大部分房间不在直播,也能有 >5 的人数,包括凌晨。我只能猜测也有和我一样的人在 24h 收集弹幕。
  3. top100 平均一天 40M 弹幕数据。
  4. 收集的弹幕能做什么?还没想好,可能可以拿来做用户行为分析 -_^

最后附上本源码的GITHUB地址 https://github.com/lyyyuna/bilibili_danmu_colloector

Python 相关文章推荐
Python模拟三级菜单效果
Sep 11 Python
详谈python read readline readlines的区别
Sep 22 Python
Python实现输出某区间范围内全部素数的方法
May 02 Python
Python开发虚拟环境使用virtualenvwrapper的搭建步骤教程图解
Sep 19 Python
pycharm配置pyqt5-tools开发环境的方法步骤
Feb 11 Python
python 一个figure上显示多个图像的实例
Jul 08 Python
使用python将excel数据导入数据库过程详解
Aug 27 Python
python自动化测试无法启动谷歌浏览器问题
Oct 10 Python
python实现从ftp服务器下载文件
Mar 03 Python
用Python生成HTML表格的方法示例
Mar 06 Python
python + selenium 刷B站播放量的实例代码
Jun 12 Python
django rest framework 自定义返回方式
Jul 12 Python
asyncio 的 coroutine对象 与 Future对象使用指南
Sep 11 #Python
Python中使用asyncio 封装文件读写
Sep 11 #Python
Python 如何访问外围作用域中的变量
Sep 11 #Python
Python优化技巧之利用ctypes提高执行速度
Sep 11 #Python
Python 中的with关键字使用详解
Sep 11 #Python
Python冒泡排序注意要点实例详解
Sep 09 #Python
通过5个知识点轻松搞定Python的作用域
Sep 09 #Python
You might like
linux下使用ThinkPHP需要注意大小写导致的问题
2011/08/02 PHP
php通过获取头信息判断图片类型的方法
2015/06/26 PHP
适合PHP初学者阅读的4本经典书籍
2016/09/23 PHP
CL vs ForZe BO5 第二场 2.13
2021/03/10 DOTA
javascript中处理时间戳为日期格式的方法
2014/01/02 Javascript
node.js中的http.response.setHeader方法使用说明
2014/12/14 Javascript
jQuery中:selected选择器用法实例
2015/01/04 Javascript
javascript实现回到顶部特效
2015/05/06 Javascript
浅谈js中对象的使用
2016/08/11 Javascript
基于vue.js实现图片轮播效果
2016/12/01 Javascript
基于angular实现模拟微信小程序swiper组件
2017/06/11 Javascript
JavaScript对象_动力节点Java学院整理
2017/06/23 Javascript
JS简单实现点击跳转登陆邮箱功能的方法
2017/10/31 Javascript
Angular中支持SCSS的方法
2017/11/18 Javascript
在vue-cli项目中使用bootstrap的方法示例
2018/04/21 Javascript
NodeJs项目中关闭ESLint的方法
2018/08/09 NodeJs
关于JS模块化的知识点分享
2019/10/16 Javascript
基于leaflet.js实现修改地图主题样式的流程分析
2020/05/15 Javascript
基于Vue CSR的微前端实现方案实践
2020/05/27 Javascript
原生js实现表格翻页和跳转
2020/09/29 Javascript
vue3.0中友好使用antdv示例详解
2021/01/05 Vue.js
[04:40]DOTA2-DPC中国联赛1月26日Recap集锦
2021/03/11 DOTA
Python用zip函数同时遍历多个迭代器示例详解
2016/11/14 Python
[原创]pip和pygal的安装实例教程
2017/12/07 Python
tensorflow实现softma识别MNIST
2018/03/12 Python
使用Python来开发微信功能
2018/06/13 Python
Python使用folium excel绘制point
2019/01/03 Python
pytorch::Dataloader中的迭代器和生成器应用详解
2020/01/03 Python
python批量修改交换机密码的示例
2020/09/22 Python
Python提取视频中图片的示例(按帧、按秒)
2020/10/22 Python
Canvas引入跨域的图片导致toDataURL()报错的问题的解决
2018/09/19 HTML / CSS
Boutique 1美国:阿联酋奢侈时尚零售商
2017/10/16 全球购物
JAVA的事件委托机制和垃圾回收机制
2014/09/07 面试题
五一家具促销方案
2014/01/10 职场文书
网络技术专业求职信
2014/05/02 职场文书
2016年社区创先争优活动总结
2016/04/05 职场文书