Python爬虫实现vip电影下载的示例代码


Posted in Python onApril 20, 2020

爬虫目的

实现对各大视频网站vip电影的下载,因为第三方解析网站并没有提供下载的渠道,因此想要实现电影的下载。

实现思路

1.选择一个合适的vip解析网站,这里选择了无名小站的接口,因为尝试了很多网站,有些网站想要爬取很困难,无名小站相对简单,接口为www.wmxz.wang/video.php?url=[vip电影的链接]
2.利用Fiddler进行抓包,模拟浏览器发送post请求,获取电影实际下载地址。
3.使用PyQt5进行包装,实现多样化的功能。(可选)

页面分析

我使用Fiddler抓包,首先,浏览器进入接口,这里随便加一个vip电影的链接,然后来看post请求:

Python爬虫实现vip电影下载的示例代码

我们已经知道了提交post请求的url,箭头所指的地方是提交的表单,里面的url就是我们要下载vip电影的ur,出现%3F这些是因为将url编码为了ASCII码,这里可能使用urllib对其进行解析,很简单;vkey需要我们获取,其实它就藏在Post请求之前get请求返回的页面中,vkey是动态变化的,每一次都不一样。红线部分是服务器返回的信息,前几天我爬取的时候里面的url还是电影的下载链接,现在变成了一个m3u8文件,里面的网址也是编码后的,我们需要用urllib进行解码,我们手动打开https://youku.cdn2-okzy.com/20200408/8808_23a9c669/index.m3u8看看里面的内容,下载后打开

Python爬虫实现vip电影下载的示例代码

发现里面并没有我们想要的ts文件,但是在文件中有一行1000k/hls/index.m3u8,也是以m3u8为后缀的,使用前面的url与文件中的部分地址拼接,结果为: https://youku.cdn2-okzy.com/20200408/8808_23a9c669/1000k/hls/index.m3u8,再次用浏览器手动打开,下载内容后发现里面是一个个ts文件,最后将ts文件下载后拼接即可(因为我爬的时候还是电影链接,写博客时发现改了,所以拼接方法我也不会,网上应该容易找到)。

Python爬虫实现vip电影下载的示例代码

下面我们只要获取vkey就可以得到这些ts文件地址了,我们向前看,找返回内容有vkey的get请求:

Python爬虫实现vip电影下载的示例代码

对比发现和post请求中的vkey一样,接下来就可以开始编写代码了。

代码实现

获取vkey,从上面的分析我们可以知道,get请求的网址为
https://www.administratorm.com/WANG.WANG/index.php?url=[要下载的vip电影]
我采用输入链接的方式来拼接get请求要访问的url,顺便使用urllib库将输入链接编码,方便后面的post请求使用

headers1 = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',
      'Referer':'https://www.administratorm.com/index.php?url=https://v.qq.com/x/cover/mzc00200q06w7zx/j0033kbdjsv.html'
      }

headers2 = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
#定义接口链接
api_url = 'https://www.administratorm.com/WANG.WANG/Api.php'
input_url = input("请输入电影url链接:")
print("请稍等!")
get_key_url = 'https://www.administratorm.com/WANG.WANG/index.php?url='+input_url
parsed_url = parse.quote(input_url,safe='')

这里创建一个会话,会话是用于服务器记录用户身份的,然后就是发送get请求,获取网页源码,然后使用re匹配到vkey的内容,这里要注意的是get请求中的verify=False参数,其实我也不太明白,是一些网站有SSl认证,加了这个参数就可以跳过认证,加了此参数可能会有很多警告,使用 logging.captureWarnings(True) 设置不显示警告。

sess = requests.session()
vkey = get_key(sess,get_key_url)

def get_key(sess,get_key_url):
  logging.captureWarnings(True)
  response = sess.get(get_key_url,headers=headers1,verify=False)
  response.encoding=response.apparent_encoding
  content = response.text
  vkey = re.findall('vkey.*?\'(.*?)\'',content)[0]
  return vkey

2.制作表单,获取了vkey后,我们就可以制作提交post请求的表单了,代码很简单,就不做介绍了。

datas = make_dataform(parsed_url,vkey)
def make_dataform(parsed_url,vkey):
  datas = {
      'url':parsed_url,
      'wap':'0',
      'ios':'0',
      'vkey':vkey,
      'type':''
  
    }
  return datas

3.发送post请求,这里再次说明,由于我原来post请求返回的信息是电影下载地址,所以我获得的url是下载地址,现在再提交post请求获得的是m3u8文件。

download_url = post(sess,datas)
def post(sess,datas):
  response = sess.post(api_url,headers=headers2,data=datas)
  response.encoding=response.apparent_encoding
  u = json.loads(response.text)
  return u['url']

4.下载电影,由于链接不同,我就把我下载电影的代码放到这里,做个参考。

down_load(sess,download_url)
def down_load(sess,download_url):
  print("正在准备下载电影")
  response = requests.get(download_url,headers=headers2,verify=False)
  total_size = response.headers['Content-Length']
  print("将要下载的电影大小:{}MB".format(round(int(total_size)/1024/1024,2)))
  batch_size = int(total_size)//100
  #返回迭代器:是将二进制流按大小分割之后的
  k = input("请输入文件路径(C/D):")
  filename = input("请输入保存文件名:")
  with open(r"{}:/电影/".format(k)+filename+".mp4",'wb') as f:
    i = 0
    for content in response.iter_content(chunk_size=batch_size):
      f.write(content)
      print('\r','#'*i+' 已下载{}%'.format(i),end='\r',flush=True)
      i += 1
    print("下载成功")

程序界面

使用PyQt5将上面的代码包装起来,使其更加美观,并添加一些功能,由于WebEngineView已经不能播放flash了,并且有些需要新建标签的链接打不开,所以中间的浏览器很鸡肋,就图个好看吧。

Python爬虫实现vip电影下载的示例代码

这里就不详细讲了,PyQt5也比较简单,容易上手,如果需要的话联系我吧。

总结

这是我第一次写博客,如果哪里有问题请及时指出来,欢迎大家指正错误,此爬虫项目只用于入门,请不要用其盈利。否则,后果自负!

到此这篇关于Python爬虫实现vip电影下载的示例代码的文章就介绍到这了,更多相关Python爬虫vip电影下载内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现 多进程导入CSV数据到 MySQL
Feb 26 Python
Python 异常处理的实例详解
Sep 11 Python
Python实现二维数组按照某行或列排序的方法【numpy lexsort】
Sep 22 Python
python调用系统ffmpeg实现视频截图、http发送
Mar 06 Python
使用Python对微信好友进行数据分析
Jun 27 Python
python 剪切移动文件的实现代码
Aug 02 Python
Python 输入一个数字判断成绩分数等级的方法
Nov 15 Python
python使用threading.Condition交替打印两个字符
May 07 Python
python之列表推导式的用法
Nov 29 Python
win7上tensorflow2.2.0安装成功 引用DLL load failed时找不到指定模块 tensorflow has no attribute xxx 解决方法
May 20 Python
keras.layer.input()用法说明
Jun 16 Python
基于Python实现下载网易音乐代码实例
Aug 10 Python
TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法
Apr 19 #Python
tensorflow中tf.reduce_mean函数的使用
Apr 19 #Python
TensorFlow打印输出tensor的值
Apr 19 #Python
numpy库reshape用法详解
Apr 19 #Python
tensorflow常用函数API介绍
Apr 19 #Python
TensorFlow的reshape操作 tf.reshape的实现
Apr 19 #Python
pip安装tensorflow的坑的解决
Apr 19 #Python
You might like
php下通过curl抓取yahoo boss 搜索结果的实现代码
2011/06/10 PHP
PHP设计模式之代理模式的深入解析
2013/06/13 PHP
ThinkPHP独立分组使用的注意事项
2014/11/25 PHP
PHP把MSSQL数据导入到MYSQL的方法
2014/12/27 PHP
PHP基于mssql扩展远程连接MSSQL的简单实现方法
2016/10/08 PHP
php5.3后静态绑定用法详解
2016/11/11 PHP
浅析PHP类的反射来实现依赖注入过程
2018/02/06 PHP
Extjs学习笔记之三 extjs form更多的表单项
2010/01/07 Javascript
JQuery从头学起第三讲
2010/07/06 Javascript
jquery使用ColorBox弹出图片组浏览层实例演示
2013/03/14 Javascript
原生js实现跨浏览器获取鼠标按键的值
2013/04/08 Javascript
jquery checkbox实现单选小例
2013/11/27 Javascript
使用RequireJS优化JavaScript引用代码的方法
2015/07/01 Javascript
Vue添加请求拦截器及vue-resource 拦截器使用
2017/11/23 Javascript
详解组件库的webpack构建速度优化
2018/06/18 Javascript
微信小程序之onLaunch与onload异步问题详解
2019/03/28 Javascript
Moment.js实现多个同时倒计时
2019/08/26 Javascript
[40:31]Secret vs Alliacne 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/17 DOTA
python如何生成各种随机分布图
2018/08/27 Python
python random从集合中随机选择元素的方法
2019/01/23 Python
解决win7操作系统Python3.7.1安装后启动提示缺少.dll文件问题
2019/07/15 Python
python中自带的三个装饰器的实现
2019/11/08 Python
Python while循环使用else语句代码实例
2020/02/07 Python
PyQt5.6+pycharm配置以及pyinstaller生成exe(小白教程)
2020/06/02 Python
Python基于数列实现购物车程序过程详解
2020/06/09 Python
加拿大鞋子连锁店:Town Shoes
2016/09/26 全球购物
凯特王妃父母建立的派对用品网站:Party Pieces
2017/05/28 全球购物
HelloFresh奥地利:立即订购烹饪盒
2019/02/22 全球购物
阿巴庭院:Abba Patio
2019/06/18 全球购物
高级护理实习生自荐信
2013/09/28 职场文书
劲霸男装广告词改编版
2014/03/21 职场文书
先进员工获奖感言
2014/08/14 职场文书
2014年老干部工作总结
2014/11/21 职场文书
体育个人工作总结
2015/02/09 职场文书
将图片保存到mysql数据库并展示在前端页面的实现代码
2021/05/02 MySQL
js中Map和Set的用法及区别实例详解
2022/02/15 Javascript