python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python的id()函数介绍
Feb 10 Python
python实现socket端口重定向示例
Feb 10 Python
python 捕获 shell/bash 脚本的输出结果实例
Jan 04 Python
python保存网页图片到本地的方法
Jul 24 Python
python爬虫之自动登录与验证码识别
Jun 15 Python
windows10下安装TensorFlow Object Detection API的步骤
Jun 13 Python
python 环境搭建 及python-3.4.4的下载和安装过程
Jul 20 Python
python实现对服务器脚本敏感信息的加密解密功能
Aug 13 Python
使用pytorch实现可视化中间层的结果
Dec 30 Python
python程序如何进行保存
Jul 03 Python
Django多个app urls配置代码实例
Nov 26 Python
OpenCV-Python直方图均衡化实现图像去雾
Jun 07 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
社区(php&&mysql)五
2006/10/09 PHP
win7+apache+php+mysql环境配置操作详解
2013/06/10 PHP
PHP会话处理的10个函数
2015/08/11 PHP
PHP生成随机密码方法汇总
2015/08/27 PHP
Mootools 1.2教程 输入过滤第二部分(字符串)
2009/09/15 Javascript
制作高质量的JQuery Plugin 插件的方法
2010/04/20 Javascript
Jquery提交表单 Form.js官方插件介绍
2012/03/01 Javascript
JavaScript实现上下浮动的窗口效果代码
2015/10/12 Javascript
学习JavaScript设计模式之装饰者模式
2016/01/19 Javascript
用v-html解决Vue.js渲染中html标签不被解析的问题
2016/12/14 Javascript
微信小程序 用户数据解密详细介绍
2017/01/09 Javascript
原生js实现放大镜效果
2017/01/11 Javascript
JS动态生成年份和月份实例代码
2017/02/04 Javascript
详解Node使用Puppeteer完成一次复杂的爬虫
2018/04/18 Javascript
js隐式转换的知识实例讲解
2018/09/28 Javascript
微信小程序实现省市区三级地址选择
2020/06/21 Javascript
如何封装Vue Element的table表格组件
2021/02/06 Vue.js
使用Python下载Bing图片(代码)
2013/11/07 Python
Python中的闭包总结
2014/09/18 Python
Python随机生成一个6位的验证码代码分享
2015/03/24 Python
Python读取文件内容的三种常用方式及效率比较
2017/10/07 Python
python 制作自定义包并安装到系统目录的方法
2018/10/27 Python
Python 实现王者荣耀中的敏感词过滤示例
2019/01/21 Python
关于keras.layers.Conv1D的kernel_size参数使用介绍
2020/05/22 Python
最简单的matplotlib安装教程(小白)
2020/07/28 Python
哥德堡通行证:Gothenburg Pass
2019/12/09 全球购物
美国婴儿和儿童服装购物网站:PatPat
2020/10/01 全球购物
英语文学专业学生的自我评价
2013/10/31 职场文书
网站设计师的岗位职责
2013/11/21 职场文书
单位门卫岗位职责
2013/12/20 职场文书
促销活动总结报告
2014/04/26 职场文书
银行求职信
2014/05/31 职场文书
我们的节日端午节活动总结
2015/02/11 职场文书
2015年校务公开工作总结
2015/05/26 职场文书
宣传委员竞选稿
2015/11/19 职场文书
利用Redis实现点赞功能的示例代码
2022/06/28 Redis