python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
浅谈function(函数)中的动态参数
Apr 30 Python
Python 基础教程之str和repr的详解
Aug 20 Python
python解决js文件utf-8编码乱码问题(推荐)
May 02 Python
Tensorflow卷积神经网络实例进阶
May 24 Python
python通过微信发送邮件实现电脑关机
Jun 20 Python
Python2和Python3之间的str处理方式导致乱码的讲解
Jan 03 Python
在python 中split()使用多符号分割的例子
Jul 15 Python
Django实现图片上传功能步骤解析
Apr 22 Python
Python3+RIDE+RobotFramework自动化测试框架搭建过程详解
Sep 23 Python
Python logging自定义字段输出及打印颜色
Nov 30 Python
Python激活Anaconda环境变量的详细步骤
Jun 08 Python
python数据可视化使用pyfinance分析证券收益示例详解
Nov 20 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
环境会对咖啡种植有什么影响
2021/03/03 咖啡文化
Yii2――使用数据库操作汇总(增删查改、事务)
2016/12/19 PHP
goto语法在PHP中的使用教程
2020/09/17 PHP
显示、隐藏密码
2006/07/01 Javascript
jquery动画1.加载指示器
2012/08/24 Javascript
jquery连缀语法如何实现
2012/11/29 Javascript
在myeclipse中如何加入jquery代码提示功能
2014/06/03 Javascript
JSON字符串转JSON对象
2015/07/31 Javascript
浅谈javascript函数式编程
2015/09/06 Javascript
JavaScript如何实现对数字保留两位小数一位自动补零
2015/12/18 Javascript
jQuery插件EasyUI获取当前Tab中iframe窗体对象的方法
2016/08/05 Javascript
AngularJS基于ui-route实现深层路由的方法【路由嵌套】
2016/12/14 Javascript
JS实现图片预加载之无序预加载功能代码
2017/05/12 Javascript
JavaScript实现购物车基本功能
2017/07/21 Javascript
微信小程序实现文件、图片上传功能
2020/08/18 Javascript
vue 验证码界面实现点击后标灰并设置div按钮不可点击状态
2019/10/28 Javascript
python使用smtplib模块通过gmail实现邮件发送的方法
2015/05/08 Python
python获取外网ip地址的方法总结
2015/07/02 Python
python:pandas合并csv文件的方法(图书数据集成)
2018/04/12 Python
python opencv 读取图片 返回图片某像素点的b,g,r值的实现方法
2019/07/03 Python
关于python3中setup.py小概念解析
2019/08/22 Python
python多线程扫描端口(线程池)
2019/09/04 Python
使用Python操作MySQL的小技巧
2020/09/10 Python
Pam & Gela官网:美国性感前卫女装品牌
2018/07/19 全球购物
L*SPACE官网:比基尼、泳装和度假服装
2019/03/18 全球购物
学校运动会开幕演讲稿
2014/01/04 职场文书
党员公开承诺书
2014/03/25 职场文书
中层干部竞聘演讲稿
2014/05/15 职场文书
第一批党的群众路线教育实践活动总结报告
2014/07/03 职场文书
国际贸易求职信
2014/07/05 职场文书
申报优秀教师材料
2014/12/16 职场文书
2015年远程教育工作总结
2015/05/20 职场文书
2015年学校办公室主任工作总结
2015/07/20 职场文书
老乡会致辞
2015/07/28 职场文书
大学生创业,为什么都会选择快餐饮?
2019/08/08 职场文书
吉利入股戴姆勒后smart“长大了”
2022/04/21 数码科技