用Python爬取某乎手机APP数据


Posted in Python onJune 15, 2021

一、配置抓包工具

1.安装软件

本文选择的抓包工具:Fiddler  

具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了!

2.配置Fiddler

安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!

配置Connections

打开Fiddler后,点击Tools->Options

用Python爬取某乎手机APP数据

点击Connections

用Python爬取某乎手机APP数据

勾选上对应的选项

配置HTTPS

由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包!

用Python爬取某乎手机APP数据

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler重启Fiddler重启Fiddler!不然可能不生效

二、配置手机代理

 1.设置代理

准备工作

首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网

查看ip命令

window:ipconfig

用Python爬取某乎手机APP数据

开始配置

目标代理主机信息
ip:192.168.31.195

端口:8888

在wifi无线网处进去,点击配置代理

填写好相关代理信息

用Python爬取某乎手机APP数据

2.安装证书

在浏览器输入:

http://192.168.31.195:8888

用Python爬取某乎手机APP数据

点击下载证书后,下面就开始安装(看图操作

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

ok,这样手机端就配置完成,下面开始抓取数据!!!

三、抓取数据

1.打开某乎app

用Python爬取某乎手机APP数据

2.查看数据包列表

打开app之后,Fiddler就已经抓取到数据了

用Python爬取某乎手机APP数据

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件

用Python爬取某乎手机APP数据

这样我们获取的数据包列表就都是过滤条件内的目标网址

用Python爬取某乎手机APP数据

3.查找数据包

比如点击热榜

用Python爬取某乎手机APP数据

对应的https加密数据包如下:

用Python爬取某乎手机APP数据

数据包中的数据如下:

用Python爬取某乎手机APP数据

提取出url链接

用Python爬取某乎手机APP数据

https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

拿到url之后,接着开始编程爬取保存数据。

4.编写爬虫程序

# -*- coding: utf-8 -*-

用Python爬取某乎手机APP数据

ok这样就可以将数据获取下来!

四、总结

1.配置抓包工具Fiddler(重点)。

2.ios苹果手机配置证书和设置代理(安卓手机也类似)。

3.简单使用Fiddler(过滤数据包、查看数据包等)。

4.本文以某乎为实战,实现了python爬取手机app数据

到此这篇关于用Python爬取某乎手机APP数据的文章就介绍到这了,更多相关Python爬取APP数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python抓取最新博客内容并生成Rss
May 17 Python
Python爬取APP下载链接的实现方法
Sep 30 Python
浅谈pandas中Dataframe的查询方法([], loc, iloc, at, iat, ix)
Apr 10 Python
解决python3读取Python2存储的pickle文件问题
Oct 25 Python
Python实现的各种常见分布算法示例
Dec 13 Python
python调用外部程序的实操步骤
Mar 04 Python
Python实现账号密码输错三次即锁定功能简单示例
Mar 29 Python
Tensorflow全局设置可见GPU编号操作
Jun 30 Python
python如何对链表操作
Oct 10 Python
10个python爬虫入门实例(小结)
Nov 01 Python
Django展示可视化图表的多种方式
Apr 08 Python
Python预测分词的实现
Jun 18 Python
七个非常实用的Python工具包总结
python异常中else的实例用法
Jun 15 #Python
Python实现简单的猜单词
Python自动化爬取天眼查数据的实现
浅谈Python响应式类库RxPy
Jun 14 #Python
Python Django ORM连表正反操作技巧
Python scrapy爬取起点中文网小说榜单
You might like
php实现从ftp服务器上下载文件树到本地电脑的程序
2009/02/10 PHP
PHP输出时间差函数代码
2013/01/28 PHP
ajax完美实现两个网页 分页功能的实例代码
2013/04/16 PHP
php定界符
2014/06/19 PHP
PHP中的gzcompress、gzdeflate、gzencode函数详解
2014/07/29 PHP
Zend Framework 2.0事件管理器(The EventManager)入门教程
2014/08/11 PHP
php中addslashes函数与sql防注入
2014/11/17 PHP
php将数组转换成csv格式文件输出的方法
2015/03/14 PHP
thinkPHP5.0框架整体架构总览【应用,模块,MVC,驱动,行为,命名空间等】
2017/03/25 PHP
php PDO属性设置与操作方法分析
2018/12/27 PHP
PHP levenshtein()函数用法讲解
2019/03/08 PHP
laravel http 自定义公共验证和响应的方法
2019/09/29 PHP
node.js中的socket.io入门实例
2014/04/26 Javascript
JavaScript中Date.toSource()方法的使用教程
2015/06/12 Javascript
详解javascript事件冒泡
2016/01/09 Javascript
javascript拖拽应用实例
2016/03/25 Javascript
Javascript中arguments对象的详解与使用方法
2016/10/04 Javascript
利用CSS、JavaScript及Ajax实现图片预加载的三大方法
2017/01/22 Javascript
vue.js整合mint-ui里的轮播图实例代码
2017/12/27 Javascript
微信小程序实现刷脸登录
2018/05/25 Javascript
vue3.0 的 Composition API 的使用示例
2020/10/26 Javascript
Vue路由权限控制解析
2020/11/09 Javascript
js观察者模式的弹幕案例
2020/11/23 Javascript
Python实现采用进度条实时显示处理进度的方法
2017/12/19 Python
python flask框架实现重定向功能示例
2019/07/02 Python
Python中Subprocess的不同函数解析
2019/12/10 Python
matplotlib绘制鼠标的十字光标的实现(自定义方式,官方实例)
2021/01/10 Python
英国网上花店:Bunches
2016/11/29 全球购物
平安工地建设方案
2014/05/06 职场文书
查摆剖析材料范文
2014/09/30 职场文书
局机关干部群众路线个人对照检查材料思想汇报
2014/10/05 职场文书
渠道运营商合作协议书范本
2014/10/06 职场文书
2015年预算员工作总结
2015/05/14 职场文书
从事会计工作年限证明
2015/06/23 职场文书
JS中如何优雅的使用async await详解
2021/10/05 Javascript
SQL Server使用T-SQL语句批处理
2022/05/20 SQL Server