Python实现视频下载功能


Posted in Python onMarch 14, 2017

最近一两年短视频业务风生水起,各个视频网站都有各自特色的短视频内容。如果有这样一个程序,可以把各大视频网站的热门用户最新发布的视频都下载下来,不仅方便自己观看,还可以将没有版权的视频发布在个人社交网站上,增加自己的人气,岂不美哉?

parker就是这样一个项目(项目地址:https://github.com/LiuRoy/parker),它采用celery框架定时爬取用户视频列表,将最新发布的视频通过you-get异步下载,可以很方便地实现分布式部署。因为各个网站的页面布局和接口更新比较频繁,为了保证程序的高可用,特意增加了Statsd监控,方便及时发现出错。

代码架构

Python实现视频下载功能

目前parker中只实现了B站和秒拍的下载,从框架图可以看出,针对每一类网站,需要实现两个异步接口:从用户视频主页解析发布视频的播放地址、根据播放地址下载视频。因此增加网站类型,不需要修改原来的代码,只需要添加新的解析和下载接口即可。针对视频下载完成之后的后续操作,我还没有实现,大家可以根据自己的需求自由的去实现。

在运行的时候,celery会将配置好的优质用户列表定时发送到对应网站的解析接口异步执行,筛选出最新发布的视频播放地址,交给对应的下载接口异步下载,下载完成之后再异步调用后续操作。因此需要启动一个celery beat进程发送定时任务,以及若干celery异步任务去执行解析和下载操作,对于比较大的视频,下载会相当耗时,建议根据任务列表的多少合理分配异步任务的个数。

程序运行

经验证,此程序可以在ubuntu和mac下正常运行, 由于本地windows下的celery无法正常启动,所以没有在windows环境做过验证。

依赖库安装

python版本为3.5,进入项目目录后,执行:

pip install -r requirements.txt

创建数据库表

提前在数据库中建好两张表(sql: https://github.com/LiuRoy/parker/blob/master/spider/models/tables.sql)

参数配置

config路径下的logging.yaml、params.yaml、sites.yaml分别对应日志配置、运行参数配置、热门用户配置。

日志配置

debug模式下日志会直接输出在标准输出流,release模式下会将日志内容输出到文件中,因此需要配置输出日志文件。

运行配置

  • mode debug调试模式,此模式下日志指向标准输出,并且没有监控数据;release模式下,日志输出到制定文件,并且有监控数据。
  • broker_url 对应于celery的BROKER_URL,可以配置为redis或者rabbitmq
  • mysql_url 数据库地址,需要提前建好两张表
  • download_path 视频下载路径
  • statsd_address 监控地址
  • video_number_per_page 每次从用户视频主页解析出多少条视频播放地址,因为大部分用户每次发布的视频个数很少,只需要设置成一个很小的值即可。在初次运行的时候,也不会下载大量久远的视频。
  • download_timeout 视频下载的超时时间

热门用户配置

parker会根据此配置生成一份celery beat scheduler列表。

  • name 规则是<网站类型>-<任务id>,parker会根据此作为scheduler任务名称
  • url 用户的发布视频主页
  • task 对应的celery解析异步任务
  • minute 多少分钟检查一次用户视频列表

启动任务

进入项目目录,执行下面命令启动celery worker

celery -A spider worker

执行下面命令启动celery beat定时任务

celery -A spider beat

监控

强烈安利一个docker镜像 https://hub.docker.com/r/samuelebistoletti/docker-statsd-influxdb-grafana/,一分钟配好监控环境有木有。之后只需要添加执行成功和执行异常的打点数据,就可以方便的监控程序是否正常运行了。

Python实现视频下载功能

以上所述是小编给大家介绍的Python实现视频下载功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python多线程编程(六):可重入锁RLock
Apr 05 Python
举例讲解Python编程中对线程锁的使用
Jul 12 Python
快速实现基于Python的微信聊天机器人示例代码
Mar 03 Python
使用python实现knn算法
Dec 20 Python
python机器学习案例教程——K最近邻算法的实现
Dec 28 Python
python numpy 显示图像阵列的实例
Jul 02 Python
python requests使用socks5的例子
Jul 25 Python
详解Python可视化神器Yellowbrick使用
Nov 11 Python
解决Python二维数组赋值问题
Nov 28 Python
pandas 对group进行聚合的例子
Dec 27 Python
Python bisect模块原理及常见实例
Jun 17 Python
Python+OpenCV实现图片中的圆形检测
Apr 07 Python
python 实现自动远程登陆scp文件实例代码
Mar 13 #Python
python executemany的使用及注意事项
Mar 13 #Python
Python的标准模块包json详解
Mar 13 #Python
python中pandas.DataFrame排除特定行方法示例
Mar 12 #Python
Python中functools模块函数解析
Mar 12 #Python
python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
Mar 12 #Python
Python中str.format()详解
Mar 12 #Python
You might like
利用jquery的获取JS文件中的字符串内容
2012/02/14 Javascript
JavaScript使用cookie记录临时访客信息的方法
2015/04/07 Javascript
js实现简单的可切换选项卡效果
2015/04/10 Javascript
通过实例理解javascript中没有函数重载的概念
2015/06/03 Javascript
今天抽时间给大家整理jquery和ajax的相关知识
2015/11/17 Javascript
jquery实现移动端点击图片查看大图特效
2020/09/11 Javascript
JS实现鼠标滑过显示边框的菜单效果
2016/09/21 Javascript
vue.js通过自定义指令实现数据拉取更新的实现方法
2016/10/18 Javascript
JS日期对象简单操作(获取当前年份、星期、时间)
2016/10/26 Javascript
原生js实现商品放大镜效果
2017/01/12 Javascript
AngularJS2中一种button切换效果的实现方法(二)
2017/03/27 Javascript
jq checkbox 的全选并ajax传参的实例
2017/04/01 Javascript
WdatePicker.js时间日期插件的使用方法
2017/07/26 Javascript
vue-cli项目中怎么使用mock数据
2017/09/27 Javascript
Webpack 4.x搭建react开发环境的方法步骤
2018/08/15 Javascript
JS中创建自定义类型的常用模式总结【工厂模式,构造函数模式,原型模式,动态原型模式等】
2019/01/19 Javascript
vue增加强缓存和版本号的实现方法
2019/05/01 Javascript
Python浅复制中对象生存周期实例分析
2018/04/02 Python
Pandas 对Dataframe结构排序的实现方法
2018/04/10 Python
Python使用googletrans报错的解决方法
2018/09/25 Python
python调用c++传递数组的实例
2019/02/13 Python
Python基于opencv实现的简单画板功能示例
2019/03/04 Python
python获取微信企业号打卡数据并生成windows计划任务
2019/04/30 Python
解决Atom安装Hydrogen无法运行python3的问题
2019/08/28 Python
Python+Tensorflow+CNN实现车牌识别的示例代码
2019/10/11 Python
提高python代码运行效率的一些建议
2020/09/29 Python
python实现图像随机裁剪的示例代码
2020/12/10 Python
用CSS3绘制三角形的简单方法
2015/07/17 HTML / CSS
荷兰音乐会和音乐剧门票订购网站:Topticketshop
2019/08/27 全球购物
JENNIFER BEHR官网:各种耳环和发饰
2020/06/07 全球购物
先进工作者获奖感言
2014/02/08 职场文书
美术兴趣小组活动总结
2014/07/07 职场文书
2014年防汛工作总结
2014/12/08 职场文书
新生入学欢迎词
2015/01/26 职场文书
中学图书馆工作总结
2015/08/11 职场文书
清洁工工作总结
2015/08/11 职场文书