Python实现视频下载功能


Posted in Python onMarch 14, 2017

最近一两年短视频业务风生水起,各个视频网站都有各自特色的短视频内容。如果有这样一个程序,可以把各大视频网站的热门用户最新发布的视频都下载下来,不仅方便自己观看,还可以将没有版权的视频发布在个人社交网站上,增加自己的人气,岂不美哉?

parker就是这样一个项目(项目地址:https://github.com/LiuRoy/parker),它采用celery框架定时爬取用户视频列表,将最新发布的视频通过you-get异步下载,可以很方便地实现分布式部署。因为各个网站的页面布局和接口更新比较频繁,为了保证程序的高可用,特意增加了Statsd监控,方便及时发现出错。

代码架构

Python实现视频下载功能

目前parker中只实现了B站和秒拍的下载,从框架图可以看出,针对每一类网站,需要实现两个异步接口:从用户视频主页解析发布视频的播放地址、根据播放地址下载视频。因此增加网站类型,不需要修改原来的代码,只需要添加新的解析和下载接口即可。针对视频下载完成之后的后续操作,我还没有实现,大家可以根据自己的需求自由的去实现。

在运行的时候,celery会将配置好的优质用户列表定时发送到对应网站的解析接口异步执行,筛选出最新发布的视频播放地址,交给对应的下载接口异步下载,下载完成之后再异步调用后续操作。因此需要启动一个celery beat进程发送定时任务,以及若干celery异步任务去执行解析和下载操作,对于比较大的视频,下载会相当耗时,建议根据任务列表的多少合理分配异步任务的个数。

程序运行

经验证,此程序可以在ubuntu和mac下正常运行, 由于本地windows下的celery无法正常启动,所以没有在windows环境做过验证。

依赖库安装

python版本为3.5,进入项目目录后,执行:

pip install -r requirements.txt

创建数据库表

提前在数据库中建好两张表(sql: https://github.com/LiuRoy/parker/blob/master/spider/models/tables.sql)

参数配置

config路径下的logging.yaml、params.yaml、sites.yaml分别对应日志配置、运行参数配置、热门用户配置。

日志配置

debug模式下日志会直接输出在标准输出流,release模式下会将日志内容输出到文件中,因此需要配置输出日志文件。

运行配置

  • mode debug调试模式,此模式下日志指向标准输出,并且没有监控数据;release模式下,日志输出到制定文件,并且有监控数据。
  • broker_url 对应于celery的BROKER_URL,可以配置为redis或者rabbitmq
  • mysql_url 数据库地址,需要提前建好两张表
  • download_path 视频下载路径
  • statsd_address 监控地址
  • video_number_per_page 每次从用户视频主页解析出多少条视频播放地址,因为大部分用户每次发布的视频个数很少,只需要设置成一个很小的值即可。在初次运行的时候,也不会下载大量久远的视频。
  • download_timeout 视频下载的超时时间

热门用户配置

parker会根据此配置生成一份celery beat scheduler列表。

  • name 规则是<网站类型>-<任务id>,parker会根据此作为scheduler任务名称
  • url 用户的发布视频主页
  • task 对应的celery解析异步任务
  • minute 多少分钟检查一次用户视频列表

启动任务

进入项目目录,执行下面命令启动celery worker

celery -A spider worker

执行下面命令启动celery beat定时任务

celery -A spider beat

监控

强烈安利一个docker镜像 https://hub.docker.com/r/samuelebistoletti/docker-statsd-influxdb-grafana/,一分钟配好监控环境有木有。之后只需要添加执行成功和执行异常的打点数据,就可以方便的监控程序是否正常运行了。

Python实现视频下载功能

以上所述是小编给大家介绍的Python实现视频下载功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python33 urllib2使用方法细节讲解
Dec 03 Python
Python实现获取域名所用服务器的真实IP
Oct 25 Python
Python中pygame安装方法图文详解
Nov 11 Python
Python实现控制台进度条功能
Jan 04 Python
Python实现将文本生成二维码的方法示例
Jul 18 Python
python matplotlib 注释文本箭头简单代码示例
Jan 08 Python
使用Python AIML搭建聊天机器人的方法示例
Jul 09 Python
python 图像平移和旋转的实例
Jan 10 Python
PyTorch之图像和Tensor填充的实例
Aug 18 Python
django formset实现数据表的批量操作的示例代码
Dec 06 Python
keras-siamese用自己的数据集实现详解
Jun 10 Python
Python OpenGL基本配置方式
May 20 Python
python 实现自动远程登陆scp文件实例代码
Mar 13 #Python
python executemany的使用及注意事项
Mar 13 #Python
Python的标准模块包json详解
Mar 13 #Python
python中pandas.DataFrame排除特定行方法示例
Mar 12 #Python
Python中functools模块函数解析
Mar 12 #Python
python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
Mar 12 #Python
Python中str.format()详解
Mar 12 #Python
You might like
《魔兽争霸3》重制版究竟重制了什么?玩家:这么糊弄真的好吗?
2020/05/04 魔兽争霸
PHP中读取文件的几个方法总结(推荐)
2016/06/03 PHP
深入浅出讲解:php的socket通信原理
2016/12/03 PHP
javascript 静态对象和构造函数的使用和公私问题
2010/03/02 Javascript
javascript中setTimeout和setInterval的unref()和ref()用法示例
2014/11/26 Javascript
JavaScript的内存释放问题详解
2015/01/21 Javascript
JQuery简单实现锚点链接的平滑滚动
2015/05/03 Javascript
JS中Location使用详解
2015/05/12 Javascript
Bootstrap Navbar Component实现响应式导航
2016/10/08 Javascript
原生js实现选项卡功能
2017/03/08 Javascript
jQuery实现字体颜色渐变效果的方法
2017/03/29 jQuery
微信小程序网络封装(简单高效)
2018/08/06 Javascript
如何在Vue.js中实现标签页组件详解
2019/01/02 Javascript
解决layer弹出层的内容页点击按钮跳转到新的页面问题
2019/09/14 Javascript
Vue.js中provide/inject实现响应式数据更新的方法示例
2019/10/16 Javascript
[52:22]EG vs VG Supermajor小组赛B组 BO3 第一场 6.2
2018/06/03 DOTA
Python是编译运行的验证方法
2015/01/30 Python
对Python3.6 IDLE常用快捷键介绍
2018/07/16 Python
Python理解递归的方法总结
2019/01/28 Python
python 多线程对post请求服务器测试并发的方法
2019/06/13 Python
python实现加密的方式总结
2020/01/19 Python
python如何输出反斜杠
2020/06/18 Python
python打包多类型文件的操作方法
2020/09/21 Python
利用HTML5 Canvas API绘制矩形的超级攻略
2016/03/21 HTML / CSS
ghd澳大利亚官方网站:英国最受欢迎的美发工具品牌
2018/05/21 全球购物
纽约海:Sea New York
2018/11/04 全球购物
华为的Java面试题
2014/03/07 面试题
护理专业学生的求职信范文
2013/12/11 职场文书
2015幼儿园庆元旦活动方案
2014/12/09 职场文书
幼儿园中班教师个人工作总结
2015/02/06 职场文书
幼儿园中班个人总结
2015/02/28 职场文书
教师岗位职责范本
2015/04/02 职场文书
周恩来的四个昼夜观后感
2015/06/03 职场文书
赵氏孤儿观后感
2015/06/09 职场文书
单位工资证明范本
2015/06/12 职场文书
SQL实现LeetCode(178.分数排行)
2021/08/04 MySQL