Python实现视频下载功能


Posted in Python onMarch 14, 2017

最近一两年短视频业务风生水起,各个视频网站都有各自特色的短视频内容。如果有这样一个程序,可以把各大视频网站的热门用户最新发布的视频都下载下来,不仅方便自己观看,还可以将没有版权的视频发布在个人社交网站上,增加自己的人气,岂不美哉?

parker就是这样一个项目(项目地址:https://github.com/LiuRoy/parker),它采用celery框架定时爬取用户视频列表,将最新发布的视频通过you-get异步下载,可以很方便地实现分布式部署。因为各个网站的页面布局和接口更新比较频繁,为了保证程序的高可用,特意增加了Statsd监控,方便及时发现出错。

代码架构

Python实现视频下载功能

目前parker中只实现了B站和秒拍的下载,从框架图可以看出,针对每一类网站,需要实现两个异步接口:从用户视频主页解析发布视频的播放地址、根据播放地址下载视频。因此增加网站类型,不需要修改原来的代码,只需要添加新的解析和下载接口即可。针对视频下载完成之后的后续操作,我还没有实现,大家可以根据自己的需求自由的去实现。

在运行的时候,celery会将配置好的优质用户列表定时发送到对应网站的解析接口异步执行,筛选出最新发布的视频播放地址,交给对应的下载接口异步下载,下载完成之后再异步调用后续操作。因此需要启动一个celery beat进程发送定时任务,以及若干celery异步任务去执行解析和下载操作,对于比较大的视频,下载会相当耗时,建议根据任务列表的多少合理分配异步任务的个数。

程序运行

经验证,此程序可以在ubuntu和mac下正常运行, 由于本地windows下的celery无法正常启动,所以没有在windows环境做过验证。

依赖库安装

python版本为3.5,进入项目目录后,执行:

pip install -r requirements.txt

创建数据库表

提前在数据库中建好两张表(sql: https://github.com/LiuRoy/parker/blob/master/spider/models/tables.sql)

参数配置

config路径下的logging.yaml、params.yaml、sites.yaml分别对应日志配置、运行参数配置、热门用户配置。

日志配置

debug模式下日志会直接输出在标准输出流,release模式下会将日志内容输出到文件中,因此需要配置输出日志文件。

运行配置

  • mode debug调试模式,此模式下日志指向标准输出,并且没有监控数据;release模式下,日志输出到制定文件,并且有监控数据。
  • broker_url 对应于celery的BROKER_URL,可以配置为redis或者rabbitmq
  • mysql_url 数据库地址,需要提前建好两张表
  • download_path 视频下载路径
  • statsd_address 监控地址
  • video_number_per_page 每次从用户视频主页解析出多少条视频播放地址,因为大部分用户每次发布的视频个数很少,只需要设置成一个很小的值即可。在初次运行的时候,也不会下载大量久远的视频。
  • download_timeout 视频下载的超时时间

热门用户配置

parker会根据此配置生成一份celery beat scheduler列表。

  • name 规则是<网站类型>-<任务id>,parker会根据此作为scheduler任务名称
  • url 用户的发布视频主页
  • task 对应的celery解析异步任务
  • minute 多少分钟检查一次用户视频列表

启动任务

进入项目目录,执行下面命令启动celery worker

celery -A spider worker

执行下面命令启动celery beat定时任务

celery -A spider beat

监控

强烈安利一个docker镜像 https://hub.docker.com/r/samuelebistoletti/docker-statsd-influxdb-grafana/,一分钟配好监控环境有木有。之后只需要添加执行成功和执行异常的打点数据,就可以方便的监控程序是否正常运行了。

Python实现视频下载功能

以上所述是小编给大家介绍的Python实现视频下载功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python socket 超时设置 errno 10054
Jul 01 Python
Python的Flask框架中Flask-Admin库的简单入门指引
Apr 07 Python
Python使用QQ邮箱发送Email的方法实例
Feb 09 Python
python select.select模块通信全过程解析
Sep 20 Python
python编程使用协程并发的优缺点
Sep 20 Python
python 保存float类型的小数的位数方法
Oct 17 Python
Python离线安装PIL 模块的方法
Jan 08 Python
Python小整数对象池和字符串intern实例解析
Mar 21 Python
opencv中图像叠加/图像融合/按位操作的实现
Apr 01 Python
解决python ThreadPoolExecutor 线程池中的异常捕获问题
Apr 08 Python
使用keras实现Precise, Recall, F1-socre方式
Jun 15 Python
opencv 形态学变换(开运算,闭运算,梯度运算)
Jul 07 Python
python 实现自动远程登陆scp文件实例代码
Mar 13 #Python
python executemany的使用及注意事项
Mar 13 #Python
Python的标准模块包json详解
Mar 13 #Python
python中pandas.DataFrame排除特定行方法示例
Mar 12 #Python
Python中functools模块函数解析
Mar 12 #Python
python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
Mar 12 #Python
Python中str.format()详解
Mar 12 #Python
You might like
自动跳转中英文页面
2006/10/09 PHP
APMServ使用说明
2006/10/23 PHP
深入理解PHP原理之错误抑制与内嵌HTML分析
2011/05/02 PHP
PHP实现的统计数据功能详解
2016/12/06 PHP
在Linux上用forever实现Node.js项目自启动
2014/07/09 Javascript
javascript结合ajax读取txt文件内容
2014/12/05 Javascript
用nodejs搭建websocket服务器
2017/01/23 NodeJs
Canvas 绘制粒子动画背景
2017/02/15 Javascript
微信小程序滚动Tab实现左右可滑动切换
2017/08/17 Javascript
集成vue到jquery/bootstrap项目的方法
2018/02/10 jQuery
vue-cli脚手架config目录下index.js配置文件的方法
2018/03/13 Javascript
vue.js2.0 实现better-scroll的滚动效果实例详解
2018/08/13 Javascript
解决v-for中使用v-if或者v-bind:class失效的问题
2018/09/25 Javascript
React如何解决fetch跨域请求时session失效问题
2018/11/02 Javascript
Vue.js数字输入框组件使用方法详解
2019/10/19 Javascript
Node.js API详解之 assert模块用法实例分析
2020/05/26 Javascript
[47:45]Liquid vs OG 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
Python模块学习 datetime介绍
2012/08/27 Python
python 并发编程 多路复用IO模型详解
2019/08/20 Python
python 实现多线程下载视频的代码
2019/11/15 Python
python 写函数在一定条件下需要调用自身时的写法说明
2020/06/01 Python
Python判断远程服务器上Excel文件是否被人打开的方法
2020/07/13 Python
英国玛莎百货美国官网:Marks & Spencer美国
2018/11/06 全球购物
iHerb俄罗斯:维生素、补品和天然产品
2020/07/09 全球购物
一家外企的面试题目(C/C++面试题,C语言面试题)
2014/03/24 面试题
艺术应用与设计专业个人的自我评价
2013/11/19 职场文书
计算机专业毕业生自荐信
2013/12/31 职场文书
大学生暑期实践感言
2014/02/26 职场文书
元旦联欢会感言
2014/03/04 职场文书
房屋租赁协议书范本
2014/04/10 职场文书
婚前协议书
2014/04/15 职场文书
项目建议书范文
2014/05/12 职场文书
求职信怎么写
2014/05/23 职场文书
电气工程师岗位职责
2015/02/12 职场文书
红色电影观后感
2015/06/18 职场文书
2016暑期社会实践心得体会范文
2016/01/14 职场文书