Python爬虫之App爬虫视频下载的实现


Posted in Python onDecember 08, 2020

前言

随着手app的发展逐渐强大,我们手机应用每天的生活也是非常的多。那我们怎么知道他的数据是怎么形成的,通过电脑端如何爬取。相信大家也有这样的问题。下面我将讲解这些操作流程。

一、操作流程

首先我们要有

  • fidder4
  • 夜神模拟器
  • pycharm
  • python3.0或以上版本

 二、fidder4抓包

1.fidder配置

首先我们先下载fidder,
打开Fiddler,点击Tools => Options 打开配置选项,切换到第二个标签页HTTPS,先在这里打勾

Python爬虫之App爬虫视频下载的实现

然后就是点下面如图所示的单选框,点击Actions,运行第一个Trust Root Certificate。后面会有一个框,记得点击确定。

Python爬虫之App爬虫视频下载的实现

打开Fiddler,点击Tools => Options… 打开配置选项,切换到第三个标签页Connections,修改如图所示的地方,端口号可任意修改,这里使用我自定的9999,请记住自己设置的端口号,后面有需要使用的地方。

Python爬虫之App爬虫视频下载的实现

2.模拟器配置

我们为什么使用模拟器,因为由于Fidder抓包,要在局域网环境下,我们大部分电脑都是以宽带连接,所以我这里就以模拟器讲解抓包,后续我会更新一期fidder手机抓包。

这里们先打模拟器,设置模拟器的代理。我们先查看自己的本机IP,通过cmd命令输入ipconfig即可查看本机的ip,我的本机IP是192.168.1.2

Python爬虫之App爬虫视频下载的实现

这里打开模拟器的设置,找到我们WLAN用点击,我们看到我们的wifi,用鼠标点击时间长一点,它会出现设置的,下面我用视频给大家看一下

Python爬虫之App爬虫视频下载的实现

我们本机ip进行代理哦

Python爬虫之App爬虫视频下载的实现

3.模拟器证书安装

我们用模拟器打开浏览器,输入我们本机ip加端口,就是 192.168.1.2:9999

Python爬虫之App爬虫视频下载的实现

点击这个下载证书,下载完成后安装证书,命名随便命名。密码自己要记入。
上述如果都做成功了,应该就没什么问题了。

三、fidder4解析视频网站

Python爬虫之App爬虫视频下载的实现

这是我们模拟器里的app,app名字我会在下面评论发出。

Python爬虫之App爬虫视频下载的实现

这里的所和上面的正好相对应,这里相信我们大家都找到了,
我们可以把fidder抓包到的数据在这里,这个是我们的数据网址
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1
我们通过模拟器视频往下滑,可以知道它是分页的,那样会有好多小姐姐视频哦,
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2
这里就是第二页的数据,这个时候就可以通过pycharm进行解析了。

pycharm编写app代码

import requests
import json
def Demo(page):
 url='https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'.format(page)

 header={
  'User-Agent':'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
 }

 response = requests.get(url,headers=header,verify=False).json()
 data=response['content']['list']	#由于网站是json数据我们可以通过json解析,然后在进行数据的爬取
 for i in data:
  title =i['title'] #这里爬取的是视频标题
  playurl=i['playurl']	#这里是爬取是的视频的url
  Video(title,playurl)

def Video(title,playurl):
 header = {
  'User-Agent': 'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
 }
 response = requests.get(playurl,headers=header,verify=False)
 # 文件写入异常机制
 try:
 	#由于写入可以会有点出错,我们要加一个异常处理机制,这样可以提高我们的程序性能。
  with open('VIdeo/{}.mp4'.format(title),'ab') as f:
   f.write(response.content)
 except Exception as e:
  print(e)

for i in range(1,11):
 Demo(i)

总结

以上就是今天要讲的内容,本文简单的对fidder配置与模拟器的证书安装,通过fidder监视app传输的数据进行解析,我们知道此网址有分页功能 ,最后我们通过pycharm编写程序,这些操作看似繁锁,其实看懂了,就很简单。

到此这篇关于Python爬虫之App爬虫视频下载的实现的文章就介绍到这了,更多相关Python App爬虫视频下载内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python网络编程学习笔记(10):webpy框架
Jun 09 Python
python中快速进行多个字符替换的方法小结
Dec 15 Python
pytorch 把MNIST数据集转换成图片和txt的方法
May 20 Python
使用Python快速制作可视化报表的方法
Feb 03 Python
python实现给微信指定好友定时发送消息
Apr 29 Python
python多进程读图提取特征存npy
May 21 Python
使用pip安装python库的多种方式
Jul 31 Python
Python Web框架之Django框架cookie和session用法分析
Aug 16 Python
Python数据处理篇之Sympy系列(五)---解方程
Oct 12 Python
python框架flask表单实现详解
Nov 04 Python
基于python模拟TCP3次握手连接及发送数据
Nov 06 Python
OpenCV项目实践之停车场车位实时检测
Apr 11 Python
Python爬虫进阶之爬取某视频并下载的实现
Dec 08 #Python
selenium框架中driver.close()和driver.quit()关闭浏览器
Dec 08 #Python
Python hashlib和hmac模块使用方法解析
Dec 08 #Python
Python虚拟环境virtualenv创建及使用过程图解
Dec 08 #Python
Selenium执行完毕未关闭chromedriver/geckodriver进程的解决办法(java版+python版)
Dec 07 #Python
python 实现数据库中数据添加、查询与更新的示例代码
Dec 07 #Python
python 爬取小说并下载的示例
Dec 07 #Python
You might like
php一些公用函数的集合
2008/03/27 PHP
php判断表是否存在的方法
2015/06/18 PHP
thinkphp中字符截取函数msubstr()用法分析
2016/01/09 PHP
PHP 类与构造函数解析
2017/02/06 PHP
PHP实现一个多功能购物网站的案例
2017/09/13 PHP
Yii 框架控制器创建使用及控制器响应操作示例
2019/10/14 PHP
Javascript的匿名函数小结
2009/12/31 Javascript
JQuery入门——移除绑定事件unbind方法概述及应用
2013/02/05 Javascript
用js传递value默认值的示例代码
2014/09/11 Javascript
JavaScript动态改变表格单元格内容的方法
2015/03/30 Javascript
JavaScript脚本判断蜘蛛来源的方法
2015/09/22 Javascript
javascript如何写热点图
2015/12/08 Javascript
移动端jQuery修正Web页面滑动时div问题的两则实例
2016/05/30 Javascript
JavaScript中的splice方法用法详解
2016/07/20 Javascript
vue环境搭建简单教程
2017/11/07 Javascript
详解Vue基于vue-quill-editor富文本编辑器使用心得
2019/01/03 Javascript
五分钟搞懂Vuex实用知识(小结)
2019/08/12 Javascript
swiper Scrollbar滚动条组件详解
2019/09/08 Javascript
python基础教程之面向对象的一些概念
2014/08/29 Python
Python编程中用close()方法关闭文件的教程
2015/05/24 Python
Python实现矩阵转置的方法分析
2017/11/24 Python
Python发送http请求解析返回json的实例
2018/03/26 Python
Python 机器学习库 NumPy入门教程
2018/04/19 Python
Python 旋转打印各种矩形的方法
2019/07/09 Python
Python编译为二进制so可执行文件实例
2019/12/23 Python
利用CSS3实现圆角的outline效果的教程
2015/06/05 HTML / CSS
详解CSS3的box-shadow属性制作边框阴影效果的方法
2016/05/10 HTML / CSS
HTML5录音实践总结(Preact)
2020/05/07 HTML / CSS
英国领先的男士美容护发用品公司:Mankind
2016/08/31 全球购物
好的自荐信包括什么内容
2013/11/07 职场文书
民生工程实施方案
2014/03/22 职场文书
仲裁协议书
2014/09/26 职场文书
导游词之重庆钓鱼城
2019/09/19 职场文书
Django项目如何正确配置日志(logging)
2021/04/29 Python
Nginx 路由转发和反向代理location配置实现
2021/11/11 Servers
Redis实现订单过期删除的方法步骤
2022/06/05 Redis