python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
详解Django框架中的视图级缓存
Jul 23 Python
django开发之settings.py中变量的全局引用详解
Mar 29 Python
Python实现k-means算法
Feb 23 Python
python 生成图形验证码的方法示例
Nov 11 Python
python issubclass 和 isinstance函数
Jul 25 Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 Python
window7下的python2.7版本和python3.5版本的opencv-python安装过程
Oct 24 Python
Django之choices选项和富文本编辑器的使用详解
Apr 01 Python
IDLE下Python文件编辑和运行操作
Apr 25 Python
python使用多线程+socket实现端口扫描
May 28 Python
Pycharm配置autopep8实现流程解析
Nov 28 Python
Python与C/C++的相互调用案例
Mar 04 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
php获取远程图片的两种 CURL方式和sockets方式获取远程图片
2011/11/07 PHP
php 模拟 asp.net webFrom 按钮提交事件的思路及代码
2013/12/02 PHP
PHP实现文件下载详解
2014/11/27 PHP
php常用正则函数实例小结
2016/12/29 PHP
javaScript call 函数的用法说明
2010/04/09 Javascript
jquery学习笔记 用jquery实现无刷新登录
2011/08/08 Javascript
JavaScript高级程序设计 XML、Ajax 学习笔记
2011/09/10 Javascript
jQuery-serialize()输出序列化form表单值的方法
2012/12/26 Javascript
JS 打印功能代码可实现打印预览、打印设置等
2014/10/31 Javascript
js实现按钮加背景图片常用方法
2014/11/01 Javascript
javascript事件冒泡和事件捕获详解
2015/05/26 Javascript
jQuery插件pagewalkthrough实现引导页效果
2015/07/05 Javascript
JavaScript获取图片像素颜色并转换为box-shadow显示
2016/03/11 Javascript
基于javascript实现表格的简单操作
2016/05/21 Javascript
最丑的时钟效果!js canvas时钟制作方法
2016/08/15 Javascript
AngularJS之依赖注入模拟实现
2016/08/19 Javascript
vue路由嵌套的SPA实现步骤
2017/11/06 Javascript
Apache如何部署django项目
2017/05/21 Python
Python编程图形库之Pillow使用方法讲解
2018/12/28 Python
Python函数中不定长参数的写法
2019/02/13 Python
pyqt5实现绘制ui,列表窗口,滚动窗口显示图片的方法
2019/06/20 Python
python图形绘制奥运五环实例讲解
2019/09/14 Python
TensorFLow 数学运算的示例代码
2020/04/21 Python
英国著名书店:Foyles
2018/12/01 全球购物
Pottery Barn阿联酋:购买家具、家居装饰及更多
2019/12/08 全球购物
简历的自我评价范文
2014/02/04 职场文书
《伯牙绝弦》教学反思
2014/03/02 职场文书
美丽乡村建设实施方案
2014/03/23 职场文书
委托公证书
2014/04/08 职场文书
优秀应届生求职信
2014/06/16 职场文书
社区党员志愿服务活动方案
2014/08/18 职场文书
乡镇党员群众路线教育实践活动对照检查材料思想汇报
2014/10/05 职场文书
商业计划书之服装
2019/09/09 职场文书
JPA 通过Specification如何实现复杂查询
2021/11/23 Java/Android
MySQL中正则表达式(REGEXP)使用详解
2022/07/07 MySQL
Moment的feature导致线上bug解决分析
2022/09/23 Javascript