Python脚本如何在bilibili中查找弹幕发送者


Posted in Python onJune 04, 2020

       总所周知bilibili是没有办法直接查看弹幕的发送者的,这使得当我们看到一些nt弹幕的时候虽然生气,却无可奈何,但是B站是可以屏蔽某个用户发送的弹幕的,这说明数据接口里肯定有用户信息,由于最近在学爬虫,所以我想先找找弹幕接口,分析下里面的数据。

找接口

       找接口当然是随便打开一个视频然后F12啦,可是当我找了两圈后我傻眼了,没找到啊。。得,不能把时间浪费在这种事情上,果断打开百度,不出所料,找到了如下的两个接口,都是XML格式网页

https://comment.bilibili.com/+cid
https://api.bilibili.com/x/v1/dm/list.so?oid=+cid

       这里面的cid是一种每个视频独有的数字,也就是每一P都有一个cid,查找cid可以打开网页然后F12,再ctrl+f搜索cid,一般八九位数的就是cid了。

       这里我找到了一个接口,可以通过aid找到cid

https://www.bilibili.com/widget/getPageList?aid=+aid

分析数据

       弹幕数据是获取到了,那么我们就要从这一堆数据中分析他们的用途了

Python脚本如何在bilibili中查找弹幕发送者

       这里大概能得到两个信息,其中第6个数据为时间戳第8个数据为用户uid的某种加密方式。经查询得到这是用户uid经过crc32校验得到的结果转为16进制数,所以只能通过uid得到对于的校验码,无法反推。。似乎只能通过彩虹表的方式查找数据了?那么这串8位16进制的数字在数据库中要用什么方式保存呢?
       选择似乎有varchar和bigint,由于B站有差不多6亿个用户,在6亿个数据中查找想要的字符串那速度必然很慢(但有人经测试得到varchar型数据和bigint型数据查找速度其实差的不多?)
       就在我决定用bigint储存数据时,我突然想到,8位16进制那就是2的32次方,int型的储存上限时2的31次方,如果用无符号的方式保存正好是2的32次方,也就是能储存到0xffffffff这么大的数据,正好满足要求。于是果断换成无符号int,与之对应的id也为无符号int,并将crc32b编码过后的数据作为主键,制成彩虹表存入我的服务器内。
       (粗略的算了一下,6亿数据就是需要27G左右的空间…而我的服务器一共才40G的大小…)

做成网页供大家使用

       接下来的操作似乎就水到渠成了,写了个python脚本,该python脚本接受2个参数,视频cid和想要搜索的弹幕关键字,返回用户发送的弹幕,用户的crc32b编码,时间戳。然后用php的exec函数执行python代码,并通过搜索数据库找出用户的uid,通过php返回json格式数据给前端。

python代码(写的很烂)

import requests
from bs4 import BeautifulSoup
import re
import io

import sys

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
req = requests.get('https://comment.bilibili.com/'+sys.argv[1]+'.xml')
req.encoding = req.apparent_encoding
soup = BeautifulSoup(req.text, 'html.parser').find_all(name='d')
result = ""
for i in soup:
 s = re.sub('<(.*?)>', '', str(i))
 index = 0
 if(len(sys.argv[2])>0):
  index = s.find(str(sys.argv[2]))
 if(index!=-1):
  result+=str(i).split(",")[6]+","+s+","+str(i).split(",")[4]+","
print(result)

效果展示

       前端代码就是随便写的~至少功能实现了嘛

Python脚本如何在bilibili中查找弹幕发送者Python脚本如何在bilibili中查找弹幕发送者

       这里说一下为什么是NULL,因为我的服务器还在可怜巴巴的往数据库内写入彩虹表数据。。预计需要4天~
       今天加了个暴力破解的功能,避免了查询结果为NULL,但是相对的查询速度会非常慢。

       最后!附上该工具的链接:点我

总结

到此这篇关于Python脚本如何在bilibili中查找弹幕发送者的文章就介绍到这了,更多相关bilibili弹幕发送者内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中random模块生成随机数详解
Mar 10 Python
整理Python 常用string函数(收藏)
May 30 Python
python基础学习之如何对元组各个元素进行命名详解
Jul 12 Python
python实现差分隐私Laplace机制详解
Nov 25 Python
python 实现查询Neo4j多节点的多层关系
Dec 23 Python
Python 面向对象之类class和对象基本用法示例
Feb 02 Python
解决json中ensure_ascii=False的问题
Apr 03 Python
keras自动编码器实现系列之卷积自动编码器操作
Jul 03 Python
详解如何在PyCharm控制台中输出彩色文字和背景
Aug 17 Python
python 实现一个简单的线性回归案例
Dec 17 Python
python字典的元素访问实例详解
Jul 21 Python
python blinker 信号库
May 04 Python
Python爬虫谷歌Chrome F12抓包过程原理解析
Jun 04 #Python
python实现按键精灵找色点击功能教程,使用pywin32和Pillow库
Jun 04 #Python
解决python图像处理图像赋值后变为白色的问题
Jun 04 #Python
Python爬虫JSON及JSONPath运行原理详解
Jun 04 #Python
python 实现图像快速替换某种颜色
Jun 04 #Python
python下对hsv颜色空间进行量化操作
Jun 04 #Python
Python-opencv实现红绿两色识别操作
Jun 04 #Python
You might like
简单易用的计数器(数据库)
2006/10/09 PHP
我的论坛源代码(四)
2006/10/09 PHP
在PHP3中实现SESSION的功能(一)
2006/10/09 PHP
php完全过滤HTML,JS,CSS等标签
2009/01/16 PHP
PHP采集相关教程之一 CURL函数库
2010/02/15 PHP
PHP5中GD库生成图形验证码(有汉字)
2013/07/28 PHP
PHP命名空间(Namespace)简明教程
2014/06/11 PHP
php正则替换处理HTML页面的方法
2015/06/17 PHP
PHP 7安装使用体验之性能大提升,兼容性强,扩展支持不够(升级PHP要谨慎)
2017/07/27 PHP
网络图片延迟加载实现代码 超越jquery控件
2010/03/27 Javascript
Javascript合并表格中具有相同内容单元格示例
2013/08/11 Javascript
jQuery应用之jQuery链用法实例
2015/01/19 Javascript
javascript中undefined与null的区别
2015/08/16 Javascript
bootstrap Table插件使用demo
2017/08/07 Javascript
使用jQuery实现两个div中按钮互换位置的实例代码
2017/09/21 jQuery
angularjs实现猜大小功能
2017/10/23 Javascript
Vue CLI3 如何支持less的方法示例
2018/08/29 Javascript
在Vue项目中使用snapshot测试的具体使用
2019/04/16 Javascript
Vue CLI项目 axios模块前后端交互的使用(类似ajax提交)
2019/09/01 Javascript
基于jsbarcode 生成条形码并将生成的条码保存至本地+源码
2020/04/27 Javascript
[02:10]三分钟回顾完美世界城市挑战赛
2019/01/24 DOTA
浅析Python 中整型对象存储的位置
2016/05/16 Python
对Python 文件夹遍历和文件查找的实例讲解
2018/04/26 Python
python实现决策树分类(2)
2018/08/30 Python
Python3 filecmp模块测试比较文件原理解析
2020/03/23 Python
英国玛莎百货新西兰:Marks & Spencer New Zealand
2019/07/21 全球购物
美丽的珠宝配饰:SmallThings
2019/09/04 全球购物
Groupon荷兰官方网站:高达70%的折扣
2019/11/01 全球购物
德国的大型美妆个护电商:Flaconi
2020/06/26 全球购物
入党积极分子自我鉴定
2014/02/18 职场文书
劳动竞赛口号
2014/06/16 职场文书
2014年幼师工作总结
2014/11/22 职场文书
2015高三毕业寄语赠言
2015/02/27 职场文书
清明节随笔
2015/08/15 职场文书
会计工作自我鉴定范文
2019/06/21 职场文书
十大最强水系宝可梦,最美宝可梦排第三,榜首大家最熟悉
2022/03/18 日漫