python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python使用MySQLdb for Python操作数据库教程
Oct 11 Python
Python入门篇之列表和元组
Oct 17 Python
Python统计日志中每个IP出现次数的方法
Jul 06 Python
举例讲解Python中的list列表数据结构用法
Mar 12 Python
Python中的time模块与datetime模块用法总结
Jun 30 Python
python实现QQ邮箱/163邮箱的邮件发送
Jan 22 Python
eclipse创建python项目步骤详解
May 10 Python
python 串行执行和并行执行实例
Apr 30 Python
浅析python 动态库m.so.1.0错误问题
May 09 Python
DRF使用simple JWT身份验证的实现
Jan 14 Python
pytorch查看网络参数显存占用量等操作
May 12 Python
Python Pandas pandas.read_sql_query函数实例用法分析
Jun 21 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
php中关于codeigniter的xmlrpc的类在进行数据交换时的类型问题
2011/07/03 PHP
yii框架表单模型使用及以数组形式提交表单数据示例
2014/04/30 PHP
利用“多说”制作留言板、评论系统
2015/07/14 PHP
php实现图片缩略图的方法
2016/03/29 PHP
PHP微信发送推送消息乱码的解决方法
2019/02/28 PHP
Div自动滚动到末尾的代码
2008/10/26 Javascript
JS类的封装及实现代码
2009/12/02 Javascript
JavaScript将取代AppleScript?
2014/09/18 Javascript
编程语言JavaScript简介
2014/10/16 Javascript
JavaScript通过setTimeout实时显示当前时间的方法
2015/04/16 Javascript
javascript 内置对象及常见API详细介绍
2016/11/01 Javascript
Web 开发中Ajax的Session 超时处理方法
2017/01/19 Javascript
bootstrap折叠调用collapse()后data-parent不生效的快速解决办法
2017/02/23 Javascript
JavaScript运动框架 解决防抖动问题、悬浮对联(二)
2017/05/17 Javascript
node通过express搭建自己的服务器
2017/09/30 Javascript
js实现下拉框二级联动
2018/12/04 Javascript
微信小程序点击列表跳转到对应详情页过程解析
2019/09/26 Javascript
JavaScript算法学习之冒泡排序和选择排序
2019/11/02 Javascript
VUE 实现动态给对象增加属性,并触发视图更新操作示例
2019/11/29 Javascript
Python实现简单的多任务mysql转xml的方法
2017/02/08 Python
Python有序字典简单实现方法示例
2017/09/28 Python
django自带的server 让外网主机访问方法
2018/05/14 Python
解读python如何实现决策树算法
2018/10/11 Python
在Tensorflow中查看权重的实现
2020/01/24 Python
利用4行Python代码监测每一行程序的运行时间和空间消耗
2020/04/22 Python
Python celery原理及运行流程解析
2020/06/13 Python
Python多分支if语句的使用
2020/09/03 Python
Claire’s法国:时尚配饰、美容、珠宝、头发
2021/01/16 全球购物
波兰多品牌运动商店:StreetStyle24.pl
2020/09/22 全球购物
北京某公司的.net笔试题
2014/03/20 面试题
中秋晚会策划方案
2014/06/12 职场文书
营销与策划专业求职信
2014/06/20 职场文书
2015年艾滋病防治工作总结
2015/05/22 职场文书
美容院管理规章制度
2015/08/05 职场文书
使用numpy实现矩阵的翻转(flip)与旋转
2021/06/03 Python
mysql 直接拷贝data 目录下文件还原数据的实现
2021/07/25 MySQL