python 实现多线程下载m3u8格式视频并使用fmmpeg合并


Posted in Python onNovember 15, 2019

电影之类的长视频好像都用m3u8格式了,这就导致了多线程下载视频的意义不是很大,都是短视频,线不线程就没什么意义了嘛。

我们知道,m3u8的链接会下载一个文档,相当长,半小时的视频,应该有接近千行ts链接。

这些ts链接下载成ts文件,就是碎片化的视频,加以合并,就成了需要的视频。

那,即便网速很快,下几千行视频,效率也就低了,更何况还要合并。我就琢磨了一下午,怎么样才能多线程下载m3u8格式的视频呢?

先上代码,再说重难点:

import datetime
import os
import re
import threading
import requests
from queue import Queue
# 预下载,获取m3u8文件,读出ts链接,并写入文档
def down():
  # m3u8链接
  url = 'https://ali-video.acfun.cn/mediacloud/acfun/acfun_video/segment/3zf_GAW6nFMuDXrTLL89OZYOZ4mwxGoASH6UcZbsj1_6eAxUxtp3xm8wFmGMNOnZ.m3u8?auth_key=1573739375-474267152-0-a5aa2b6df4cb4168381bf8b04d88ddb1'
  # 当ts文件链接不完整时,需拼凑
  # 大部分网站可使用该方法拼接,部分特殊网站需单独拼接
  base_url = re.split(r"[a-zA-Z0-9-_\.]+\.m3u8", url)[0]
  # print(base_url)
  resp = requests.get(url)
  m3u8_text = resp.text
  # print(m3u8_text)
  # 按行拆分m3u8文档
  ts_queue = Queue(10000)
  lines = m3u8_text.split('\n')
  # 找到文档中含有ts字段的行
  concatfile = 'cache/' + "s" + '.txt'
  for line in lines:
    if '.ts' in line:
      if 'http' in line:
        # print("ts>>", line)
        ts_queue.put(line)
      else:
        line = base_url + line
        ts_queue.put(line)
        # print('ts>>',line)
      filename = re.search('([a-zA-Z0-9-]+.ts)', line).group(1).strip()
      # 一定要先写文件,因为线程的下载是无序的,文件无法按照
      # 123456。。。去顺序排序,而文件中的命名也无法保证是按顺序的
      # 这会导致下载的ts文件无序,合并时,就会顺序错误,导致视频有问题。
      open(concatfile, 'a+').write("file %s\n" % filename)
  return ts_queue,concatfile
# 线程模式,执行线程下载
def run(ts_queue):
  tt_name = threading.current_thread().getName()
  while not ts_queue.empty():
    url = ts_queue.get()
    r = requests.get(url, stream=True)
    filename = re.search('([a-zA-Z0-9-]+.ts)', url).group(1).strip()
    with open('cache/' + filename, 'wb') as fp:
      for chunk in r.iter_content(5242):
        if chunk:
          fp.write(chunk)
    print(tt_name + " " + filename + ' 下载成功')
# 视频合并方法,使用ffmpeg
def merge(concatfile, name):
  try:
    path = 'cache/' + name + '.mp4'
    command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)
    os.system(command)
    print('视频合并完成')
  except:
    print('合并失败')
if __name__ == '__main__':
  name = input('请输入视频名称:')
  start = datetime.datetime.now().replace(microsecond=0)
  s,concatfile = down()
  # print(s,concatfile)
  threads = []
  for i in range(15):
    t = threading.Thread(target=run, name='th-'+str(i), kwargs={'ts_queue': s})
    threads.append(t)
  for t in threads:
    t.start()
  for t in threads:
    t.join()
  end = datetime.datetime.now().replace(microsecond=0)
  print('下载耗时:' + str(end - start))
  merge(concatfile,name)
  over = datetime.datetime.now().replace(microsecond=0)
  print('合并耗时:' + str(over - end))

效果图:

python 实现多线程下载m3u8格式视频并使用fmmpeg合并

代码开始:自己输入视频名称(也可以去原网站爬名称)

查看下载耗时,fmmpeg开始合并:

python 实现多线程下载m3u8格式视频并使用fmmpeg合并

合并耗时:

python 实现多线程下载m3u8格式视频并使用fmmpeg合并

7分多钟,90个ts文件,接近40MB。两秒下载完成。

更大的文件,开更多的线程。

然后我们画画重难点:

第一:ts文件命名问题。

我们知道,每一个线程启动,除了队列不会重复,那么代码里都会重新跑(线程里的代码),那么,1.ts,2.ts....这种命名是不可能的了,文件会被覆盖。命名我使用了ts链接中的部分链接。

第二:合并问题。

文件的合并是根据文档内的顺序,也就是,如果边下载边合并,那么,线程的无序性导致下载无序,文件写入也就无序化了,合并时,时间线会错误,合出来的视频就无法看。因此,文件要提前写好才行,这和命名有很大的关联,看代码即知。

第三:有的m3u8是特殊处理的,代码具有一定的局限性。

写的时候挺难的,脑子都乱了,就这些吧,记录一下。

对了,贴一下下载的图:90个ts文件,一个mp4文件,一个文档。

python 实现多线程下载m3u8格式视频并使用fmmpeg合并

总结

以上所述是小编给大家介绍的python 实现多线程下载m3u8格式视频并使用fmmpeg合并,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
浅析Python中的join()方法的使用
May 19 Python
详解Python中最难理解的点-装饰器
Apr 03 Python
python实现Floyd算法
Jan 03 Python
Python 实现在文件中的每一行添加一个逗号
Apr 29 Python
实用自动化运维Python脚本分享
Jun 04 Python
python 实现方阵的对角线遍历示例
Nov 29 Python
Python多进程multiprocessing、进程池用法实例分析
Mar 24 Python
Pycharm中安装wordcloud等库失败问题及终端通过pip安装的Python库如何添加到Pycharm解释器中(推荐)
May 10 Python
解决numpy矩阵相减出现的负值自动转正值的问题
Jun 03 Python
python 实现围棋游戏(纯tkinter gui)
Nov 13 Python
python 30行代码实现蚂蚁森林自动偷能量
Feb 08 Python
我对PyTorch dataloader里的shuffle=True的理解
May 20 Python
浅析python内置模块collections
Nov 15 #Python
Python树莓派学习笔记之UDP传输视频帧操作详解
Nov 15 #Python
Python numpy数组转置与轴变换
Nov 15 #Python
python修改文件内容的3种方法详解
Nov 15 #Python
Python实现基于socket的udp传输与接收功能详解
Nov 15 #Python
python根据文本生成词云图代码实例
Nov 15 #Python
解决django后台管理界面添加中文内容乱码问题
Nov 15 #Python
You might like
Ajax+PHP 边学边练 之二 实例
2009/11/24 PHP
PHP优于Node.js的五大理由分享
2012/09/15 PHP
PHP实现视频文件上传完整实例
2014/08/28 PHP
PHP二分查找算法示例【递归与非递归方法】
2016/09/29 PHP
类似php的js数组的in_array函数自定义方法
2013/12/27 Javascript
基于jquery实现的可编辑下拉框实现代码
2014/08/02 Javascript
详解JavaScript中的事件流和事件处理程序
2016/05/20 Javascript
JS数组去掉重复数据只保留一条的实现代码
2016/08/11 Javascript
ASP.NET jquery ajax传递参数的实例
2016/11/02 Javascript
jQuery插件zTree实现的多选树效果示例
2017/03/08 Javascript
微信小程序 实现列表项滑动显示删除按钮的功能
2017/04/13 Javascript
JavaScript实现的数字与字符串转换功能示例
2017/08/23 Javascript
Angular2 组件间通过@Input @Output通讯示例
2017/08/24 Javascript
使用webpack打包koa2 框架app
2018/02/02 Javascript
详解小程序开发经验:多页面数据同步
2019/05/18 Javascript
nuxt 页面路由配置,主页轮播组件开发操作
2020/11/05 Javascript
[01:35]2014DOTA2西雅图邀请赛 专访狐狸妈青春献给刀塔
2014/07/08 DOTA
python使用PIL缩放网络图片并保存的方法
2015/04/24 Python
Python中的getopt函数使用详解
2015/07/28 Python
python生成多个只含0,1元素的随机数组或列表的实例
2018/11/12 Python
Pycharm 设置默认头的图文教程
2019/01/17 Python
python dict 相同key 合并value的实例
2019/01/21 Python
利用python将图片版PDF转文字版PDF
2019/05/03 Python
去除python中的字符串空格的简单方法
2020/12/22 Python
Woolworth官网:澳洲第一大超市
2017/06/25 全球购物
秋季运动会通讯稿
2014/01/24 职场文书
办公室岗位职责
2014/02/12 职场文书
优秀教师感人事迹材料
2014/05/04 职场文书
2015年元旦主持词开场白
2014/12/14 职场文书
项目验收申请报告
2015/05/15 职场文书
建国大业观后感
2015/06/01 职场文书
2019大学毕业晚会主持词
2019/06/21 职场文书
经典格言警句:没有热忱,世间便无进步
2019/11/13 职场文书
Windows中Redis安装配置流程并实现远程访问功能
2021/06/07 Redis
go web 预防跨站脚本的实现方式
2021/06/11 Golang
Windows Server 2019 域控制器安装图文教程
2022/04/28 Servers