python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
详解Python中的装饰器、闭包和functools的教程
Apr 02 Python
回调函数的意义以及python实现实例
Jun 20 Python
Python定时器实例代码
Nov 01 Python
读取json格式为DataFrame(可转为.csv)的实例讲解
Jun 05 Python
基于python3实现socket文件传输和校验
Jul 28 Python
基于Python中的yield表达式介绍
Nov 19 Python
python matplotlib中的subplot函数使用详解
Jan 19 Python
pandas中ix的使用详细讲解
Mar 09 Python
python 使用while循环输出*组成的菱形实例
Apr 12 Python
Python进行特征提取的示例代码
Oct 15 Python
python中如何对多变量连续赋值
Jun 03 Python
使用python求解迷宫问题的三种实现方法
Mar 17 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
在“咖啡之国”感受咖啡文化
2021/03/03 咖啡文化
PHP编程网上资源导航
2006/10/09 PHP
PHP中的str_repeat函数在JavaScript中的实现
2013/09/16 PHP
浅谈PHP安全防护之Web攻击
2017/01/03 PHP
PHP 中TP5 Request 请求对象的实例详解
2017/07/31 PHP
extjs3 combobox取value和text案例详解
2013/02/06 Javascript
jQuery处理xml格式的返回数据(实例解析)
2013/11/28 Javascript
jQuery拖拽 & 弹出层 介绍与示例
2013/12/27 Javascript
js如何获取object类型里的键值
2014/02/18 Javascript
防止按钮在短时间内被多次点击的方法
2014/03/10 Javascript
从零学JS之你需要了解的几本书
2014/05/19 Javascript
Vue创建头部组件示例代码详解
2018/10/23 Javascript
js实现文字头像的生成代码
2020/03/07 Javascript
JavaScript实现字符串与HTML格式相互转换
2020/03/17 Javascript
JavaScript面向对象核心知识与概念归纳整理
2020/05/09 Javascript
python文件写入实例分析
2015/04/08 Python
利用Python实现简单的相似图片搜索的教程
2015/04/23 Python
python实现换位加密算法的示例
2018/10/14 Python
Python 通过requests实现腾讯新闻抓取爬虫的方法
2019/02/22 Python
为何人工智能(AI)首选Python?读完这篇文章你就知道了(推荐)
2019/04/06 Python
python的reverse函数翻转结果为None的问题
2020/05/11 Python
HTML5仿微信聊天界面、微信朋友圈实例代码
2018/01/29 HTML / CSS
英国领先的NHS批准的在线药店:Pharmacy2U
2017/01/06 全球购物
SneakerStudio英国:最佳运动鞋商店
2019/05/22 全球购物
PREMIUM-MALL法国:行李、箱包及配件在线
2019/05/30 全球购物
澳大利亚在线购买葡萄酒:The Wine Collective
2020/02/20 全球购物
大学军训通讯稿
2014/01/13 职场文书
股权投资意向书
2014/04/01 职场文书
挂牌仪式策划方案
2014/05/18 职场文书
计划生育诚信协议书
2014/11/02 职场文书
2016年国培研修日志
2015/11/13 职场文书
php引用传递
2021/04/01 PHP
Redis持久化与主从复制的实践
2021/04/27 Redis
发工资啦!教你用Python实现邮箱自动群发工资条
2021/05/10 Python
FFmpeg视频处理入门教程(新手必看)
2022/01/22 杂记
HTML 里 img 元素的 src 和 srcset 属性的区别详解
2023/05/21 HTML / CSS