python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python实现的彩票机选器实例
Jun 17 Python
Python数据可视化库seaborn的使用总结
Jan 15 Python
PyQt5的安装配置过程,将ui文件转为py文件后显示窗口的实例
Jun 19 Python
java中的控制结构(if,循环)详解
Jun 26 Python
python绘制随机网络图形示例
Nov 21 Python
python快速排序的实现及运行时间比较
Nov 22 Python
selenium+python配置chrome浏览器的选项的实现
Mar 18 Python
django配置app中的静态文件步骤
Mar 27 Python
scrapy爬虫:scrapy.FormRequest中formdata参数详解
Apr 30 Python
用ldap作为django后端用户登录验证的实现
Dec 07 Python
Python3+Django get/post请求实现教程详解
Feb 16 Python
Python+Tkinter打造签名设计工具
Apr 01 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
PHP语法速查表
2007/01/02 PHP
PHP的异常处理类Exception的使用及说明
2012/06/13 PHP
PHP获取当前所在目录位置的方法
2014/11/26 PHP
实现连缀调用的map方法(prototype)
2009/08/05 Javascript
JS小框架 fly javascript framework
2009/11/26 Javascript
利用onresize使得div可以随着屏幕大小而自适应的代码
2010/01/15 Javascript
在vs2010中调试javascript代码方法
2011/02/11 Javascript
多个表单中如何获得这个文件上传的网址实现js代码
2013/03/25 Javascript
JavaScript数值转换的三种方式总结
2014/07/31 Javascript
js获取数组的最后一个元素
2015/04/14 Javascript
jQuery代码实现表格中点击相应行变色功能
2016/05/09 Javascript
原生js实现自由拖拽弹窗代码demo
2016/06/29 Javascript
jQuery post数据至ashx实例详解
2016/11/18 Javascript
Vue.js系列之项目结构说明(2)
2017/01/03 Javascript
jQuery EasyUI 页面加载等待及页面等待层
2017/02/06 Javascript
微信小程序获取循环元素id以及wx.login登录操作
2017/08/17 Javascript
vue+socket.io+express+mongodb 实现简易多房间在线群聊示例
2017/10/21 Javascript
Vue实现购物车场景下的应用
2017/11/27 Javascript
Vue 实时监听窗口变化 windowresize的两种方法
2018/11/06 Javascript
基于js实现判断浏览器类型代码实例
2020/07/17 Javascript
初步解析Python中的yield函数的用法
2015/04/03 Python
Python中将两个或多个list合成一个list的方法小结
2019/05/12 Python
解决Tensorflow 内存泄露问题
2020/02/05 Python
python Pexpect模块的使用
2020/12/25 Python
CSS3为背景图设置遮罩并解决遮罩样式继承问题
2020/06/22 HTML / CSS
科茨沃尔德家居商店:Scotts of Stow
2018/06/29 全球购物
应用数学自荐书范文
2013/11/24 职场文书
生物医学工程专业学生求职信范文分享
2013/12/14 职场文书
军训自我鉴定200字
2014/02/13 职场文书
会计核算科岗位职责
2014/03/19 职场文书
个人合作协议书范本
2014/04/18 职场文书
恋恋笔记本观后感
2015/06/16 职场文书
2015少先队大队辅导员工作总结
2015/07/24 职场文书
2020年基层司法所建设情况调研报告
2019/11/30 职场文书
Python实现GIF动图以及视频卡通化详解
2021/12/06 Python
win11系统中dhcp服务异常什么意思? Win11 DHCP服务异常修复方法
2022/04/08 数码科技