python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python实现将pvr格式转换成pvr.ccz的方法
Apr 28 Python
python使用socket连接远程服务器的方法
Apr 29 Python
Python selenium 三种等待方式详解(必会)
Sep 15 Python
Python数据分析中Groupby用法之通过字典或Series进行分组的实例
Dec 08 Python
查看Django和flask版本的方法
May 14 Python
Python实现购物评论文本情感分析操作【基于中文文本挖掘库snownlp】
Aug 07 Python
学习python分支结构
May 17 Python
python BlockingScheduler定时任务及其他方式的实现
Sep 19 Python
Python Lambda函数使用总结详解
Dec 11 Python
使用Python爬虫库requests发送表单数据和JSON数据
Jan 25 Python
Python单元测试模块doctest的具体使用
Feb 10 Python
python实现银行账户系统
Feb 22 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
用Socket发送电子邮件(利用需要验证的SMTP服务器)
2006/10/09 PHP
php和js交互一例-PHP教程,PHP应用
2007/01/03 PHP
支持中文字母数字、自定义字体php验证码代码
2012/02/27 PHP
php使用百度翻译api示例分享
2014/01/31 PHP
新手入门常用代码集锦
2007/01/11 Javascript
JQuery下的Live方法和$.browser方法使用代码
2010/06/02 Javascript
关于Javascript作用域链的八点总结
2013/12/06 Javascript
jquery表单验证框架提供的身份证验证方法(示例代码)
2013/12/27 Javascript
21个值得收藏的Javascript技巧
2014/02/04 Javascript
更快的异步执行(setTimeout多浏览器)
2014/08/12 Javascript
JS实现网页顶部向下滑出的全国城市切换导航效果
2015/08/22 Javascript
js实现商城星星评分的效果
2015/12/29 Javascript
javascript使用闭包模拟对象的私有属性和方法
2016/10/05 Javascript
移动端web滚动分页的实现方法
2017/05/05 Javascript
vue 2.0封装model组件的方法
2017/08/03 Javascript
微信小程序实现自动定位功能
2018/10/31 Javascript
小程序实现列表多个批量倒计时
2021/01/29 Javascript
[36:45]TNC vs VGJ.S 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
浅谈django中的认证与登录
2016/10/31 Python
Python生成MD5值的两种方法实例分析
2019/04/26 Python
python 微信好友特征数据分析及可视化
2020/01/07 Python
Python 日期的转换及计算的具体使用详解
2020/01/16 Python
PyCharm中Matplotlib绘图不能显示UI效果的问题解决
2020/03/12 Python
HTML5 标准将把互联网视频扔回到黑暗时代
2010/02/10 HTML / CSS
TALLY WEiJL法国网上商店:服装、时装及配饰
2019/08/31 全球购物
事业单位个人应聘自荐信
2013/09/21 职场文书
中学实习教师自我鉴定
2013/12/12 职场文书
《小熊住山洞》教学反思
2014/02/21 职场文书
优秀的应届生自荐信
2014/05/23 职场文书
火箭队口号
2014/06/18 职场文书
高等学院职业生涯规划书范文
2014/09/16 职场文书
先进典型事迹材料
2014/12/29 职场文书
python编写函数注意事项总结
2021/03/29 Python
python用字节处理文件实例讲解
2021/04/13 Python
Python装饰器的练习题
2021/11/23 Python
Go结合Gin导出Mysql数据到Excel表格
2022/08/05 Golang