Python爬虫之App爬虫视频下载的实现


Posted in Python onDecember 08, 2020

前言

随着手app的发展逐渐强大,我们手机应用每天的生活也是非常的多。那我们怎么知道他的数据是怎么形成的,通过电脑端如何爬取。相信大家也有这样的问题。下面我将讲解这些操作流程。

一、操作流程

首先我们要有

  • fidder4
  • 夜神模拟器
  • pycharm
  • python3.0或以上版本

 二、fidder4抓包

1.fidder配置

首先我们先下载fidder,
打开Fiddler,点击Tools => Options 打开配置选项,切换到第二个标签页HTTPS,先在这里打勾

Python爬虫之App爬虫视频下载的实现

然后就是点下面如图所示的单选框,点击Actions,运行第一个Trust Root Certificate。后面会有一个框,记得点击确定。

Python爬虫之App爬虫视频下载的实现

打开Fiddler,点击Tools => Options… 打开配置选项,切换到第三个标签页Connections,修改如图所示的地方,端口号可任意修改,这里使用我自定的9999,请记住自己设置的端口号,后面有需要使用的地方。

Python爬虫之App爬虫视频下载的实现

2.模拟器配置

我们为什么使用模拟器,因为由于Fidder抓包,要在局域网环境下,我们大部分电脑都是以宽带连接,所以我这里就以模拟器讲解抓包,后续我会更新一期fidder手机抓包。

这里们先打模拟器,设置模拟器的代理。我们先查看自己的本机IP,通过cmd命令输入ipconfig即可查看本机的ip,我的本机IP是192.168.1.2

Python爬虫之App爬虫视频下载的实现

这里打开模拟器的设置,找到我们WLAN用点击,我们看到我们的wifi,用鼠标点击时间长一点,它会出现设置的,下面我用视频给大家看一下

Python爬虫之App爬虫视频下载的实现

我们本机ip进行代理哦

Python爬虫之App爬虫视频下载的实现

3.模拟器证书安装

我们用模拟器打开浏览器,输入我们本机ip加端口,就是 192.168.1.2:9999

Python爬虫之App爬虫视频下载的实现

点击这个下载证书,下载完成后安装证书,命名随便命名。密码自己要记入。
上述如果都做成功了,应该就没什么问题了。

三、fidder4解析视频网站

Python爬虫之App爬虫视频下载的实现

这是我们模拟器里的app,app名字我会在下面评论发出。

Python爬虫之App爬虫视频下载的实现

这里的所和上面的正好相对应,这里相信我们大家都找到了,
我们可以把fidder抓包到的数据在这里,这个是我们的数据网址
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1
我们通过模拟器视频往下滑,可以知道它是分页的,那样会有好多小姐姐视频哦,
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2
这里就是第二页的数据,这个时候就可以通过pycharm进行解析了。

pycharm编写app代码

import requests
import json
def Demo(page):
 url='https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'.format(page)

 header={
  'User-Agent':'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
 }

 response = requests.get(url,headers=header,verify=False).json()
 data=response['content']['list']	#由于网站是json数据我们可以通过json解析,然后在进行数据的爬取
 for i in data:
  title =i['title'] #这里爬取的是视频标题
  playurl=i['playurl']	#这里是爬取是的视频的url
  Video(title,playurl)

def Video(title,playurl):
 header = {
  'User-Agent': 'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
 }
 response = requests.get(playurl,headers=header,verify=False)
 # 文件写入异常机制
 try:
 	#由于写入可以会有点出错,我们要加一个异常处理机制,这样可以提高我们的程序性能。
  with open('VIdeo/{}.mp4'.format(title),'ab') as f:
   f.write(response.content)
 except Exception as e:
  print(e)

for i in range(1,11):
 Demo(i)

总结

以上就是今天要讲的内容,本文简单的对fidder配置与模拟器的证书安装,通过fidder监视app传输的数据进行解析,我们知道此网址有分页功能 ,最后我们通过pycharm编写程序,这些操作看似繁锁,其实看懂了,就很简单。

到此这篇关于Python爬虫之App爬虫视频下载的实现的文章就介绍到这了,更多相关Python App爬虫视频下载内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python学习之asyncore模块用法实例教程
Sep 29 Python
详解supervisor使用教程
Nov 21 Python
python打印9宫格、25宫格等奇数格 满足横竖斜相加和相等
Jul 19 Python
调试Django时打印SQL语句的日志代码实例
Sep 12 Python
Python 实现训练集、测试集随机划分
Jan 08 Python
Python关于反射的实例代码分享
Feb 20 Python
python3中sys.argv的实例用法
Apr 24 Python
Python flask框架实现浏览器点击自定义跳转页面
Jun 04 Python
Python 没有main函数的原因
Jul 10 Python
如何用python免费看美剧
Aug 11 Python
matplotlib基础绘图命令之errorbar的使用
Aug 13 Python
看看如何用Python绘制小米新版天价logo
Apr 20 Python
Python爬虫进阶之爬取某视频并下载的实现
Dec 08 #Python
selenium框架中driver.close()和driver.quit()关闭浏览器
Dec 08 #Python
Python hashlib和hmac模块使用方法解析
Dec 08 #Python
Python虚拟环境virtualenv创建及使用过程图解
Dec 08 #Python
Selenium执行完毕未关闭chromedriver/geckodriver进程的解决办法(java版+python版)
Dec 07 #Python
python 实现数据库中数据添加、查询与更新的示例代码
Dec 07 #Python
python 爬取小说并下载的示例
Dec 07 #Python
You might like
解决nginx不支持thinkphp中pathinfo的问题
2015/07/21 PHP
Fleaphp常见函数功能与用法示例
2016/11/15 PHP
PHP7 echo和print语句实例用法
2019/02/15 PHP
关于document.cookie的使用javascript
2008/04/11 Javascript
js 操作符实例代码
2009/10/24 Javascript
深入理解JSON数据源格式
2014/01/10 Javascript
jQuery学习笔记之 Ajax操作篇(二) - 数据传递
2014/06/23 Javascript
js生成验证码并直接在前端判断
2015/05/15 Javascript
jQuery实现带幻灯的tab滑动切换风格菜单代码
2015/08/27 Javascript
jQuery toggle 代替方法
2016/03/22 Javascript
实例解析jQuery中proxy()函数的用法
2016/05/24 Javascript
ReactNative-JS 调用原生方法实例代码
2016/10/08 Javascript
JS简单判断函数是否存在的方法
2017/02/13 Javascript
JavaScript之Date_动力节点Java学院整理
2017/06/28 Javascript
Vue filters过滤器的使用方法
2017/07/14 Javascript
mac中利用NVM管理不同node版本的方法详解
2017/11/08 Javascript
js DOM的事件常见操作实例详解
2019/12/16 Javascript
Js实现复选框的全选、全不选反选功能代码实例
2020/02/28 Javascript
Python中使用PyHook监听鼠标和键盘事件实例
2014/07/18 Python
Python中的对象,方法,类,实例,函数用法分析
2015/01/15 Python
python实现读取并显示图片的两种方法
2017/01/13 Python
Python字符串处理实例详解
2017/05/18 Python
Django csrf 两种方法设置form的实例
2019/02/03 Python
从0开始的Python学习016异常
2019/04/08 Python
Python实现的排列组合、破解密码算法示例
2019/04/12 Python
Django框架自定义session处理操作示例
2019/05/27 Python
Python 正则表达式爬虫使用案例解析
2019/09/23 Python
在OpenCV里实现条码区域识别的方法示例
2019/12/04 Python
pip install 使用国内镜像的方法示例
2020/04/03 Python
解决Python3.8运行tornado项目报NotImplementedError错误
2020/09/02 Python
Maxpeedingrods美国:高性能汽车零件
2020/02/14 全球购物
岗位职责定义及内容
2013/11/08 职场文书
2015小学师德工作总结
2015/07/21 职场文书
Redis持久化与主从复制的实践
2021/04/27 Redis
go语言中json数据的读取和写出操作
2021/04/28 Golang
解析MySQL索引的作用
2022/03/03 MySQL