python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
在IIS服务器上以CGI方式运行Python脚本的教程
Apr 25 Python
轻松实现python搭建微信公众平台
Feb 16 Python
Python+django实现简单的文件上传
Aug 17 Python
Python中取整的几种方法小结
Jan 06 Python
Python处理XML格式数据的方法详解
Mar 21 Python
详解python while 函数及while和for的区别
Sep 07 Python
Python判断一个文件夹内哪些文件是图片的实例
Dec 07 Python
Python高斯消除矩阵
Jan 02 Python
Python Tornado核心及相关原理详解
Jun 24 Python
pytorch使用horovod多gpu训练的实现
Sep 09 Python
如何利用Python给自己的头像加一个小国旗(小月饼)
Oct 02 Python
python中pd.cut()与pd.qcut()的对比及示例
Jun 16 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
PHP中shuffle数组值随便排序函数用法
2014/11/21 PHP
php实现用于删除整个目录的递归函数
2015/03/16 PHP
PHP学习笔记(三):数据类型转换与常量介绍
2015/04/17 PHP
PHP开发APP端微信支付功能
2017/02/17 PHP
PDO::_construct讲解
2019/01/27 PHP
thinkphp框架使用JWTtoken的方法详解
2019/10/10 PHP
添加JavaScript重载函数的辅助方法2
2010/07/04 Javascript
两种方法实现文本框输入内容提示消失
2013/03/17 Javascript
jQuery lazyLoad图片延迟加载插件的优化改造方法分享
2013/08/13 Javascript
JavaScript程序设计之JS调试
2015/12/09 Javascript
js调出上下文菜单的实例
2015/12/17 Javascript
jquery中的常见问题及快速解决方法小结
2016/06/14 Javascript
jQuery移除或禁用html元素点击事件常用方法小结
2017/02/10 Javascript
vue.js组件之间传递数据的方法
2017/07/10 Javascript
Python Mysql数据库操作 Perl操作Mysql数据库
2009/01/12 Python
Python中input与raw_input 之间的比较
2017/08/20 Python
python实现一个简单的udp通信的示例代码
2019/02/01 Python
Flask框架踩坑之ajax跨域请求实现
2019/02/22 Python
python pyinstaller 加载ui路径方法
2019/06/10 Python
python3.6中@property装饰器的使用方法示例
2019/08/17 Python
pytorch索引查找 index_select的例子
2019/08/18 Python
Python数据模型与Python对象模型的相关总结
2021/01/26 Python
德国网上药房:Apotal
2017/04/04 全球购物
String是最基本的数据类型吗?
2013/06/13 面试题
车间班组长岗位职责
2013/11/13 职场文书
财务副总经理工作职责
2013/11/25 职场文书
幼儿教师思想汇报
2014/01/10 职场文书
教师党的群众路线教育实践活动学习笔记
2014/11/05 职场文书
2015年预备党员自我评价
2015/03/04 职场文书
项目经理助理岗位职责
2015/04/13 职场文书
2019预备党员转正申请书模板2篇!
2019/08/07 职场文书
Golang二维数组的使用方式
2021/05/28 Golang
详解JVM系列之内存模型
2021/06/10 Javascript
Spring Boot 实现敏感词及特殊字符过滤处理
2021/06/29 Java/Android
Java8 CompletableFuture 异步回调
2022/04/28 Java/Android
python index() 与 rindex() 方法的使用示例详解
2022/12/24 Python