Python爬虫之App爬虫视频下载的实现


Posted in Python onDecember 08, 2020

前言

随着手app的发展逐渐强大,我们手机应用每天的生活也是非常的多。那我们怎么知道他的数据是怎么形成的,通过电脑端如何爬取。相信大家也有这样的问题。下面我将讲解这些操作流程。

一、操作流程

首先我们要有

  • fidder4
  • 夜神模拟器
  • pycharm
  • python3.0或以上版本

 二、fidder4抓包

1.fidder配置

首先我们先下载fidder,
打开Fiddler,点击Tools => Options 打开配置选项,切换到第二个标签页HTTPS,先在这里打勾

Python爬虫之App爬虫视频下载的实现

然后就是点下面如图所示的单选框,点击Actions,运行第一个Trust Root Certificate。后面会有一个框,记得点击确定。

Python爬虫之App爬虫视频下载的实现

打开Fiddler,点击Tools => Options… 打开配置选项,切换到第三个标签页Connections,修改如图所示的地方,端口号可任意修改,这里使用我自定的9999,请记住自己设置的端口号,后面有需要使用的地方。

Python爬虫之App爬虫视频下载的实现

2.模拟器配置

我们为什么使用模拟器,因为由于Fidder抓包,要在局域网环境下,我们大部分电脑都是以宽带连接,所以我这里就以模拟器讲解抓包,后续我会更新一期fidder手机抓包。

这里们先打模拟器,设置模拟器的代理。我们先查看自己的本机IP,通过cmd命令输入ipconfig即可查看本机的ip,我的本机IP是192.168.1.2

Python爬虫之App爬虫视频下载的实现

这里打开模拟器的设置,找到我们WLAN用点击,我们看到我们的wifi,用鼠标点击时间长一点,它会出现设置的,下面我用视频给大家看一下

Python爬虫之App爬虫视频下载的实现

我们本机ip进行代理哦

Python爬虫之App爬虫视频下载的实现

3.模拟器证书安装

我们用模拟器打开浏览器,输入我们本机ip加端口,就是 192.168.1.2:9999

Python爬虫之App爬虫视频下载的实现

点击这个下载证书,下载完成后安装证书,命名随便命名。密码自己要记入。
上述如果都做成功了,应该就没什么问题了。

三、fidder4解析视频网站

Python爬虫之App爬虫视频下载的实现

这是我们模拟器里的app,app名字我会在下面评论发出。

Python爬虫之App爬虫视频下载的实现

这里的所和上面的正好相对应,这里相信我们大家都找到了,
我们可以把fidder抓包到的数据在这里,这个是我们的数据网址
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1
我们通过模拟器视频往下滑,可以知道它是分页的,那样会有好多小姐姐视频哦,
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2
这里就是第二页的数据,这个时候就可以通过pycharm进行解析了。

pycharm编写app代码

import requests
import json
def Demo(page):
 url='https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'.format(page)

 header={
  'User-Agent':'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
 }

 response = requests.get(url,headers=header,verify=False).json()
 data=response['content']['list']	#由于网站是json数据我们可以通过json解析,然后在进行数据的爬取
 for i in data:
  title =i['title'] #这里爬取的是视频标题
  playurl=i['playurl']	#这里是爬取是的视频的url
  Video(title,playurl)

def Video(title,playurl):
 header = {
  'User-Agent': 'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
 }
 response = requests.get(playurl,headers=header,verify=False)
 # 文件写入异常机制
 try:
 	#由于写入可以会有点出错,我们要加一个异常处理机制,这样可以提高我们的程序性能。
  with open('VIdeo/{}.mp4'.format(title),'ab') as f:
   f.write(response.content)
 except Exception as e:
  print(e)

for i in range(1,11):
 Demo(i)

总结

以上就是今天要讲的内容,本文简单的对fidder配置与模拟器的证书安装,通过fidder监视app传输的数据进行解析,我们知道此网址有分页功能 ,最后我们通过pycharm编写程序,这些操作看似繁锁,其实看懂了,就很简单。

到此这篇关于Python爬虫之App爬虫视频下载的实现的文章就介绍到这了,更多相关Python App爬虫视频下载内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python的Flask框架中实现简单的登录功能的教程
Apr 20 Python
python爬取NUS-WIDE数据库图片
Oct 05 Python
对numpy中轴与维度的理解
Apr 18 Python
python编辑用户登入界面的实现代码
Jul 16 Python
python实现彩色图转换成灰度图
Jan 15 Python
python 实现GUI(图形用户界面)编程详解
Jul 17 Python
Pytorch反向求导更新网络参数的方法
Aug 17 Python
python 实现保存最新的三份文件,其余的都删掉
Dec 22 Python
新手学习Python2和Python3中print不同的用法
Jun 09 Python
python boto和boto3操作bucket的示例
Oct 30 Python
python 实现表情识别
Nov 21 Python
python中pow函数用法及功能说明
Dec 04 Python
Python爬虫进阶之爬取某视频并下载的实现
Dec 08 #Python
selenium框架中driver.close()和driver.quit()关闭浏览器
Dec 08 #Python
Python hashlib和hmac模块使用方法解析
Dec 08 #Python
Python虚拟环境virtualenv创建及使用过程图解
Dec 08 #Python
Selenium执行完毕未关闭chromedriver/geckodriver进程的解决办法(java版+python版)
Dec 07 #Python
python 实现数据库中数据添加、查询与更新的示例代码
Dec 07 #Python
python 爬取小说并下载的示例
Dec 07 #Python
You might like
?生?D片??C字串
2006/12/06 PHP
php include,include_once,require,require_once
2008/09/05 PHP
如何修改和添加Apache的默认站点目录
2013/07/05 PHP
laravel学习教程之关联模型
2016/07/30 PHP
php获取服务器操作系统相关信息的方法
2016/10/08 PHP
Alliance vs Liquid BO3 第二场2.13
2021/03/10 DOTA
类之Prototype.js学习
2007/06/13 Javascript
json-lib出现There is a cycle in the hierarchy解决办法
2010/02/24 Javascript
jquery.validate使用攻略 第三部
2010/07/01 Javascript
ExtJS DOM元素操作经验分享
2013/08/28 Javascript
使用纯javascript实现放大镜效果
2015/03/18 Javascript
JS基于FileSystemObject创建一个指定路径的TXT文本文件
2015/08/05 Javascript
纯js代码实现简单计算器
2015/12/02 Javascript
Js操作DOM元素及获取浏览器高宽的简单方法
2016/09/08 Javascript
JavaScript中的普通函数和箭头函数的区别和用法详解
2017/03/21 Javascript
jquery动态赋值id与动态取id方法示例
2017/08/21 jQuery
vue-cli 自定义指令directive 添加验证滑块示例
2017/10/19 Javascript
JS实现的文字间歇循环滚动效果完整示例
2018/02/13 Javascript
Webpack devServer中的 proxy 实现跨域的解决
2018/06/15 Javascript
vue 使用axios 数据请求第三方插件的使用教程详解
2019/07/05 Javascript
解决Layui中layer报错的问题
2019/09/03 Javascript
如何换个角度使用VUE过滤器详解
2019/09/11 Javascript
js实现简易ATM功能
2020/10/27 Javascript
python实现进程间通信简单实例
2014/07/23 Python
使用Protocol Buffers的C语言拓展提速Python程序的示例
2015/04/16 Python
python中星号变量的几种特殊用法
2016/09/07 Python
Python字符串处理实现单词反转
2017/06/14 Python
详解Python 调用C# dll库最简方法
2019/06/20 Python
python 无损批量压缩图片(支持保留图片信息)的示例
2020/09/22 Python
俄罗斯珠宝市场的领导者之一:Бронницкий ювелир
2019/10/02 全球购物
电子专业求职信
2014/06/19 职场文书
大专学生求职信
2014/07/04 职场文书
班级活动总结格式
2014/08/30 职场文书
小学一年级班主任工作经验交流材料
2015/11/02 职场文书
Redis模仿手机验证码发送的实现示例
2021/11/02 Redis
Mysql中@和@@符号的详细使用指南
2022/06/05 MySQL