python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
在Python中操作字典之fromkeys()方法的使用
May 21 Python
apache部署python程序出现503错误的解决方法
Jul 24 Python
Python编程实现使用线性回归预测数据
Dec 07 Python
Python简单实现查找一个字符串中最长不重复子串的方法
Mar 26 Python
python实现归并排序算法
Nov 22 Python
基于python实现名片管理系统
Nov 30 Python
使用浏览器访问python写的服务器程序
Oct 10 Python
django从后台返回html代码的实例
Mar 11 Python
Django中的模型类设计及展示示例详解
May 29 Python
推荐值得学习的12款python-web开发框架
Aug 10 Python
Pycharm 解决自动格式化冲突的设置操作
Jan 15 Python
python 递归相关知识总结
Mar 03 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
如何使用PHP中的字符串函数
2006/11/24 PHP
PHP实现生成数据字典功能示例
2018/05/24 PHP
Javascript中暂停功能的实现代码
2007/03/04 Javascript
js getBoundingClientRect() 来获取页面元素的位置
2010/11/25 Javascript
防止按钮在短时间内被多次点击的方法
2014/03/10 Javascript
jquery对象和javascript对象即DOM对象相互转换
2014/08/07 Javascript
jQuery使用attr()方法同时设置多个属性值用法实例
2015/03/26 Javascript
javascript自定义右键弹出菜单实现方法
2015/05/25 Javascript
javascript框架设计之框架分类及主要功能
2015/06/23 Javascript
新入门node.js必须要知道的概念(必看篇)
2016/08/10 Javascript
javascript中call,apply,bind函数用法示例
2016/12/19 Javascript
JavaScript实现自动跳转文本功能
2017/05/25 Javascript
jquery拖动改变div大小
2017/07/04 jQuery
关于vue.js发布后路径引用的问题解决
2017/08/15 Javascript
移动web开发之touch事件实例详解
2018/01/17 Javascript
JavaScript多种页面刷新方法小结
2019/04/04 Javascript
解决layer.open后laydate失效的问题
2019/09/06 Javascript
js实现开关灯效果
2020/03/30 Javascript
重置Redux的状态数据的方法实现
2019/11/18 Javascript
解决vue scoped scss 无效的问题
2020/09/04 Javascript
Python制作Windows系统服务
2017/03/25 Python
python 实现登录网页的操作方法
2018/05/11 Python
Python爬虫包BeautifulSoup异常处理(二)
2018/06/17 Python
Python错误处理操作示例
2018/07/18 Python
Python 微信之获取好友昵称并制作wordcloud的实例
2019/02/21 Python
详解Python并发编程之从性能角度来初探并发编程
2019/08/23 Python
利用HTML5画出一个坦克的形状具体实现代码
2013/06/20 HTML / CSS
编写函数,将一个3*3矩阵转置
2013/10/09 面试题
自主招生自荐书
2013/11/29 职场文书
小饰品店的创业计划书范文
2013/12/28 职场文书
客户服务经理岗位职责
2014/01/29 职场文书
2014年教育教学工作总结
2014/11/13 职场文书
法定代表人免职证明
2015/06/24 职场文书
PHP对接阿里云虚拟号的实现(号码隐私保护)
2021/04/06 PHP
浅谈MySQL中的六种日志
2022/03/23 MySQL
在SQL Server中使用 Try Catch 处理异常的示例详解
2022/07/15 SQL Server