Python爬虫实现vip电影下载的示例代码


Posted in Python onApril 20, 2020

爬虫目的

实现对各大视频网站vip电影的下载,因为第三方解析网站并没有提供下载的渠道,因此想要实现电影的下载。

实现思路

1.选择一个合适的vip解析网站,这里选择了无名小站的接口,因为尝试了很多网站,有些网站想要爬取很困难,无名小站相对简单,接口为www.wmxz.wang/video.php?url=[vip电影的链接]
2.利用Fiddler进行抓包,模拟浏览器发送post请求,获取电影实际下载地址。
3.使用PyQt5进行包装,实现多样化的功能。(可选)

页面分析

我使用Fiddler抓包,首先,浏览器进入接口,这里随便加一个vip电影的链接,然后来看post请求:

Python爬虫实现vip电影下载的示例代码

我们已经知道了提交post请求的url,箭头所指的地方是提交的表单,里面的url就是我们要下载vip电影的ur,出现%3F这些是因为将url编码为了ASCII码,这里可能使用urllib对其进行解析,很简单;vkey需要我们获取,其实它就藏在Post请求之前get请求返回的页面中,vkey是动态变化的,每一次都不一样。红线部分是服务器返回的信息,前几天我爬取的时候里面的url还是电影的下载链接,现在变成了一个m3u8文件,里面的网址也是编码后的,我们需要用urllib进行解码,我们手动打开https://youku.cdn2-okzy.com/20200408/8808_23a9c669/index.m3u8看看里面的内容,下载后打开

Python爬虫实现vip电影下载的示例代码

发现里面并没有我们想要的ts文件,但是在文件中有一行1000k/hls/index.m3u8,也是以m3u8为后缀的,使用前面的url与文件中的部分地址拼接,结果为: https://youku.cdn2-okzy.com/20200408/8808_23a9c669/1000k/hls/index.m3u8,再次用浏览器手动打开,下载内容后发现里面是一个个ts文件,最后将ts文件下载后拼接即可(因为我爬的时候还是电影链接,写博客时发现改了,所以拼接方法我也不会,网上应该容易找到)。

Python爬虫实现vip电影下载的示例代码

下面我们只要获取vkey就可以得到这些ts文件地址了,我们向前看,找返回内容有vkey的get请求:

Python爬虫实现vip电影下载的示例代码

对比发现和post请求中的vkey一样,接下来就可以开始编写代码了。

代码实现

获取vkey,从上面的分析我们可以知道,get请求的网址为
https://www.administratorm.com/WANG.WANG/index.php?url=[要下载的vip电影]
我采用输入链接的方式来拼接get请求要访问的url,顺便使用urllib库将输入链接编码,方便后面的post请求使用

headers1 = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',
      'Referer':'https://www.administratorm.com/index.php?url=https://v.qq.com/x/cover/mzc00200q06w7zx/j0033kbdjsv.html'
      }

headers2 = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
#定义接口链接
api_url = 'https://www.administratorm.com/WANG.WANG/Api.php'
input_url = input("请输入电影url链接:")
print("请稍等!")
get_key_url = 'https://www.administratorm.com/WANG.WANG/index.php?url='+input_url
parsed_url = parse.quote(input_url,safe='')

这里创建一个会话,会话是用于服务器记录用户身份的,然后就是发送get请求,获取网页源码,然后使用re匹配到vkey的内容,这里要注意的是get请求中的verify=False参数,其实我也不太明白,是一些网站有SSl认证,加了这个参数就可以跳过认证,加了此参数可能会有很多警告,使用 logging.captureWarnings(True) 设置不显示警告。

sess = requests.session()
vkey = get_key(sess,get_key_url)

def get_key(sess,get_key_url):
  logging.captureWarnings(True)
  response = sess.get(get_key_url,headers=headers1,verify=False)
  response.encoding=response.apparent_encoding
  content = response.text
  vkey = re.findall('vkey.*?\'(.*?)\'',content)[0]
  return vkey

2.制作表单,获取了vkey后,我们就可以制作提交post请求的表单了,代码很简单,就不做介绍了。

datas = make_dataform(parsed_url,vkey)
def make_dataform(parsed_url,vkey):
  datas = {
      'url':parsed_url,
      'wap':'0',
      'ios':'0',
      'vkey':vkey,
      'type':''
  
    }
  return datas

3.发送post请求,这里再次说明,由于我原来post请求返回的信息是电影下载地址,所以我获得的url是下载地址,现在再提交post请求获得的是m3u8文件。

download_url = post(sess,datas)
def post(sess,datas):
  response = sess.post(api_url,headers=headers2,data=datas)
  response.encoding=response.apparent_encoding
  u = json.loads(response.text)
  return u['url']

4.下载电影,由于链接不同,我就把我下载电影的代码放到这里,做个参考。

down_load(sess,download_url)
def down_load(sess,download_url):
  print("正在准备下载电影")
  response = requests.get(download_url,headers=headers2,verify=False)
  total_size = response.headers['Content-Length']
  print("将要下载的电影大小:{}MB".format(round(int(total_size)/1024/1024,2)))
  batch_size = int(total_size)//100
  #返回迭代器:是将二进制流按大小分割之后的
  k = input("请输入文件路径(C/D):")
  filename = input("请输入保存文件名:")
  with open(r"{}:/电影/".format(k)+filename+".mp4",'wb') as f:
    i = 0
    for content in response.iter_content(chunk_size=batch_size):
      f.write(content)
      print('\r','#'*i+' 已下载{}%'.format(i),end='\r',flush=True)
      i += 1
    print("下载成功")

程序界面

使用PyQt5将上面的代码包装起来,使其更加美观,并添加一些功能,由于WebEngineView已经不能播放flash了,并且有些需要新建标签的链接打不开,所以中间的浏览器很鸡肋,就图个好看吧。

Python爬虫实现vip电影下载的示例代码

这里就不详细讲了,PyQt5也比较简单,容易上手,如果需要的话联系我吧。

总结

这是我第一次写博客,如果哪里有问题请及时指出来,欢迎大家指正错误,此爬虫项目只用于入门,请不要用其盈利。否则,后果自负!

到此这篇关于Python爬虫实现vip电影下载的示例代码的文章就介绍到这了,更多相关Python爬虫vip电影下载内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python在命令行下使用google翻译(带语音)
Jan 16 Python
python如何在终端里面显示一张图片
Aug 17 Python
Python实现ssh批量登录并执行命令
Oct 25 Python
python解决网站的反爬虫策略总结
Oct 26 Python
python实现的多线程端口扫描功能示例
Jan 21 Python
python os.path模块常用方法实例详解
Sep 16 Python
对python 生成拼接xml报文的示例详解
Dec 28 Python
python检测服务器端口代码实例
Aug 31 Python
python numpy存取文件的方式
Apr 01 Python
Python 实现Serial 与STM32J进行串口通讯
Dec 18 Python
keras 自定义loss损失函数,sample在loss上的加权和metric详解
May 23 Python
Ubuntu配置Pytorch on Graph (PoG)环境过程图解
Nov 19 Python
TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法
Apr 19 #Python
tensorflow中tf.reduce_mean函数的使用
Apr 19 #Python
TensorFlow打印输出tensor的值
Apr 19 #Python
numpy库reshape用法详解
Apr 19 #Python
tensorflow常用函数API介绍
Apr 19 #Python
TensorFlow的reshape操作 tf.reshape的实现
Apr 19 #Python
pip安装tensorflow的坑的解决
Apr 19 #Python
You might like
深入分析php中接口与抽象类的区别
2013/06/08 PHP
PHP自带方法验证邮箱、URL、IP是否合法的函数
2016/12/08 PHP
php操作mongodb封装类与用法实例
2018/09/01 PHP
javascript实现的动态文字变换
2007/07/28 Javascript
jquery ui对话框实例代码
2013/05/10 Javascript
js对列表中第一个值处理与jsp页面对列表中第一个值处理的区别详解
2013/11/05 Javascript
jquery移除、绑定、触发元素事件使用示例详解
2014/04/10 Javascript
通过JS判断联网类型和连接状态的实现代码
2015/04/01 Javascript
JavaScript中各种引用类型的常用操作方法小结
2016/05/05 Javascript
webpack踩坑之路图片的路径与打包
2017/09/05 Javascript
微信通过页面(H5)直接打开本地app的解决方法
2017/09/09 Javascript
移动端效果之Swiper详解
2017/10/09 Javascript
electron + vue项目实现打印小票功能及实现代码
2018/11/25 Javascript
JavaScript This指向问题详解
2019/11/25 Javascript
vue实现简单学生信息管理
2020/05/30 Javascript
vue界面发送表情的实现代码
2020/09/11 Javascript
python实现颜色空间转换程序(Tkinter)
2015/12/31 Python
Python3操作SQL Server数据库(实例讲解)
2017/10/21 Python
使用tensorflow实现AlexNet
2017/11/20 Python
python爬虫_实现校园网自动重连脚本的教程
2018/04/22 Python
Python使用sax模块解析XML文件示例
2019/04/04 Python
使用 Python 合并多个格式一致的 Excel 文件(推荐)
2019/12/09 Python
英国旅游额外服务市场领导者:Holiday Extras(机场停车场、酒店、接送等)
2017/10/07 全球购物
社区国庆节活动方案
2014/02/05 职场文书
《神奇的克隆》教学反思
2014/04/10 职场文书
质量在我心中演讲稿
2014/09/02 职场文书
2014法院四风问题对照检查材料思想汇报
2014/10/04 职场文书
2014年班主任工作总结
2014/11/08 职场文书
2015年护士节活动策划方案
2015/05/04 职场文书
费用申请报告范文
2015/05/15 职场文书
美丽人生观后感
2015/06/03 职场文书
初中班主任心得体会
2016/01/07 职场文书
创业计划书之DIY自助厨房
2019/09/06 职场文书
话题作文之呼唤
2019/12/18 职场文书
详解如何用Python实现感知器算法
2021/06/18 Python
利用python做数据拟合详情
2021/11/17 Python