python基于selenium爬取斗鱼弹幕


Posted in Python onFebruary 20, 2021

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

python基于selenium爬取斗鱼弹幕

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
跟老齐学Python之数据类型总结
Sep 24 Python
Python中Django框架利用url来控制登录的方法
Jul 25 Python
Python闭包的两个注意事项(推荐)
Mar 20 Python
Python中Django发送带图片和附件的邮件
Mar 31 Python
Python MySQL数据库连接池组件pymysqlpool详解
Jul 07 Python
Django实现组合搜索的方法示例
Jan 23 Python
对python csv模块配置分隔符和引用符详解
Dec 12 Python
用Python实现二叉树、二叉树非递归遍历及绘制的例子
Aug 09 Python
解决django后台管理界面添加中文内容乱码问题
Nov 15 Python
详解Python中的分支和循环结构
Feb 11 Python
如何在windows下安装Pycham2020软件(方法步骤详解)
May 03 Python
python如何为list实现find方法
May 30 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 #Python
python爬虫用request库处理cookie的实例讲解
Feb 20 #Python
python 多线程爬取壁纸网站的示例
Feb 20 #Python
python 制作网站小说下载器
Feb 20 #Python
如何用python爬取微博热搜数据并保存
Feb 20 #Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 #Python
pandas统计重复值次数的方法实现
Feb 20 #Python
You might like
实现了一个PHP5的getter/setter基类的代码
2007/02/25 PHP
Laravel中间件实现原理详解
2016/10/09 PHP
PHP输出图像imagegif、imagejpeg与imagepng函数用法分析
2016/11/14 PHP
浅谈Laravel队列实现原理解决问题记录
2017/08/19 PHP
PHP的静态方法与普通方法用法实例分析
2019/09/26 PHP
在thinkphp5.0路径中实现去除index.php的方式
2019/10/16 PHP
PHP设计模式(一)工厂模式Factory实例详解【创建型】
2020/05/02 PHP
js 字符串转化成数字的代码
2011/06/29 Javascript
javascript时区函数介绍
2012/09/14 Javascript
js中arguments的用法(实例讲解)
2013/11/30 Javascript
类似天猫商品详情随浏览器移动的示例代码
2014/02/27 Javascript
浅析javascript中function 的 length 属性
2014/05/27 Javascript
浅谈js中的引用和复制(传值和传址)
2016/09/18 Javascript
Vue组件中slot的用法
2018/01/30 Javascript
vue excel上传预览和table内容下载到excel文件中
2019/12/10 Javascript
[02:40]DOTA2殁境神蚀者 英雄基础教程
2013/11/26 DOTA
详解python中的 is 操作符
2017/12/26 Python
Python使用Dijkstra算法实现求解图中最短路径距离问题详解
2018/05/16 Python
python实现得到当前登录用户信息的方法
2019/06/21 Python
python之生产者消费者模型实现详解
2019/07/27 Python
解决Jupyter无法导入已安装的 module问题
2020/04/17 Python
Java byte数组操纵方式代码实例解析
2020/07/22 Python
详解纯CSS3制作的20种loading动效
2017/07/05 HTML / CSS
详解Html5中video标签那些属性和方法
2019/07/01 HTML / CSS
整理HTML5的一些新特性与Canvas的常用属性
2016/01/29 HTML / CSS
全球航班旅行搜索网站:Cheapflights
2017/05/19 全球购物
英国玛莎百货美国官网:Marks & Spencer美国
2018/11/06 全球购物
what is the difference between ext2 and ext3
2015/08/25 面试题
旅游管理专业个人求职信范文
2013/12/24 职场文书
婚礼主持结束词
2014/03/13 职场文书
环保口号大全
2014/06/12 职场文书
危货运输企业安全生产责任书
2014/07/28 职场文书
党的群众路线教育实践活动自我剖析材料
2014/10/08 职场文书
神秘岛读书笔记
2015/07/01 职场文书
餐厅开业活动方案
2019/07/08 职场文书
MySQL和Oracle批量插入SQL的通用写法示例
2021/11/17 MySQL