python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
举例详解Python中的split()函数的使用方法
Apr 07 Python
python套接字流重定向实例汇总
Mar 03 Python
windows下安装Python和pip终极图文教程
Mar 05 Python
python获取程序执行文件路径的方法(推荐)
Apr 26 Python
python使用opencv驱动摄像头的方法
Aug 03 Python
Python函数any()和all()的用法及区别介绍
Sep 14 Python
python 判断字符串中是否含有汉字或非汉字的实例
Jul 15 Python
python中执行smtplib失败的处理方法
Jul 01 Python
浅析Python迭代器的高级用法
Jul 16 Python
学python爬虫能做什么
Jul 29 Python
Tensorflow与RNN、双向LSTM等的踩坑记录及解决
May 31 Python
Python中tqdm的使用和例子
Sep 23 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
简单的过滤字符串中的HTML标记
2006/12/25 PHP
PHP中的Memcache详解
2014/04/05 PHP
php命令行(cli)下执行PHP脚本文件的相对路径的问题解决方法
2015/05/25 PHP
PHP实现基于文本的摩斯电码生成器
2016/01/11 PHP
用apply让javascript函数仅执行一次的代码
2010/06/27 Javascript
简单时间提示DEMO从0开始一直进行计时
2013/11/19 Javascript
js跳转页面方法实现汇总
2014/02/11 Javascript
JavaScript eval() 函数介绍及应用示例
2014/07/29 Javascript
NodeJS Web应用监听sock文件实例
2015/02/18 NodeJs
touch.js 拖动、缩放、旋转 (鼠标手势)功能代码
2017/02/04 Javascript
Node.js 异步异常的处理与domain模块解析
2017/05/10 Javascript
深入理解JavaScript继承的多种方式和优缺点
2017/05/12 Javascript
jQuery获取所有父级元素及同级元素及子元素的方法(推荐)
2018/01/21 jQuery
vue.js实现备忘录demo
2019/06/26 Javascript
NodeJs 实现简单WebSocket即时通讯的示例代码
2019/08/05 NodeJs
vue动态子组件的两种实现方式
2019/09/01 Javascript
带你使用webpack快速构建web项目的方法
2020/11/12 Javascript
python2.6.6如何升级到python2.7.14
2018/04/08 Python
Pandas 数据处理,数据清洗详解
2018/07/10 Python
python实现逐个读取txt字符并修改
2018/12/24 Python
python调用摄像头拍摄数据集
2019/06/01 Python
pyqt5 键盘监听按下enter 就登陆的实例
2019/06/25 Python
关于Python形参打包与解包小技巧分享
2019/08/24 Python
opencv+pyQt5实现图片阈值编辑器/寻色块阈值利器
2020/11/13 Python
CSS3中background-clip和background-origin的区别示例介绍
2014/03/10 HTML / CSS
详解CSS3的perspective属性设置3D变换距离的方法
2016/05/23 HTML / CSS
关于canvas绘制模糊问题的解决方法
2019/09/24 HTML / CSS
会计专业自我鉴定
2014/02/10 职场文书
《故乡》教学反思
2014/04/10 职场文书
经济管理专业求职信
2014/06/09 职场文书
专题组织生活会方案
2014/06/15 职场文书
2014年后勤工作总结范文
2014/12/16 职场文书
2014年信息技术工作总结
2014/12/16 职场文书
建筑工程挂靠协议书
2016/03/23 职场文书
Mysql多层子查询示例代码(收藏夹案例)
2022/03/31 MySQL
Oracle查看表空间使用率以及爆满解决方案详解
2022/07/23 Oracle