python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python发送邮件示例(支持中文邮件标题)
Feb 16 Python
基于Python对象引用、可变性和垃圾回收详解
Aug 21 Python
Python 使用PIL numpy 实现拼接图片的示例
May 08 Python
python实现字符串和字典的转换
Sep 29 Python
pandas 快速处理 date_time 日期格式方法
Nov 12 Python
局域网内python socket实现windows与linux间的消息传送
Apr 19 Python
python time.sleep()是睡眠线程还是进程
Jul 09 Python
基于Django统计博客文章阅读量
Oct 29 Python
利用Python脚本批量生成SQL语句
Mar 04 Python
django迁移文件migrations的实现
Mar 31 Python
python能做哪方面的工作
Jun 15 Python
Python torch.flatten()函数案例详解
Aug 30 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
编写漂亮的代码 - 将后台程序与前端程序分开
2008/04/23 PHP
php编写一个简单的路由类
2011/04/13 PHP
php的慢速日志引起的Mysql错误问题分析
2014/05/13 PHP
自动生成文章摘要的代码[JavaScript 版本]
2007/03/20 Javascript
JQuery给元素绑定click事件多次执行的解决方法
2014/05/29 Javascript
javascript获取四位数字或者字母的随机数
2015/01/09 Javascript
DOM基础教程之事件类型
2015/01/20 Javascript
jQuery实现的登录浮动框效果代码
2015/09/26 Javascript
js实现简单计算器
2015/11/22 Javascript
Jquery揭秘系列:ajax原生js实现详解(推荐)
2016/06/08 Javascript
jQuery EasyUI tree 使用拖拽时遇到的错误小结
2016/10/10 Javascript
JavaScript中splice与slice的区别
2017/05/09 Javascript
详解webpack3如何正确引用并使用jQuery库
2017/08/26 jQuery
浅谈webpack4 图片处理汇总
2018/09/12 Javascript
简化版的vue-router实现思路详解
2018/10/19 Javascript
微信小程序学习笔记之获取位置信息操作图文详解
2019/03/29 Javascript
vue中在vuex的actions中请求数据实例
2019/11/08 Javascript
addEventListener()和removeEventListener()追加事件和删除追加事件
2020/12/04 Javascript
python对数组进行反转的方法
2015/05/20 Python
浅析Python中MySQLdb的事务处理功能
2016/09/21 Python
Python基于list的append和pop方法实现堆栈与队列功能示例
2017/07/24 Python
Python实现简单求解给定整数的质因数算法示例
2018/03/25 Python
对numpy中数组元素的统一赋值实例
2018/04/04 Python
python flask 如何修改默认端口号的方法步骤
2019/07/12 Python
Python中调用其他程序的方式详解
2019/08/06 Python
Python使用monkey.patch_all()解决协程阻塞问题
2020/04/15 Python
Python OrderedDict字典排序方法详解
2020/05/21 Python
python使用多线程+socket实现端口扫描
2020/05/28 Python
css3的transform造成z-index无效解决方案
2014/12/04 HTML / CSS
法律专业求职信
2014/05/24 职场文书
代办社保委托书范文
2014/10/06 职场文书
元旦晚会主持词开场白
2015/05/28 职场文书
家长会主持词开场白
2015/05/29 职场文书
创业计划书之情侣餐厅
2019/09/29 职场文书
CSS基础详解
2021/10/16 HTML / CSS
python中validators库的使用方法详解
2022/09/23 Python