用Python爬取某乎手机APP数据


Posted in Python onJune 15, 2021

一、配置抓包工具

1.安装软件

本文选择的抓包工具:Fiddler  

具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了!

2.配置Fiddler

安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!

配置Connections

打开Fiddler后,点击Tools->Options

用Python爬取某乎手机APP数据

点击Connections

用Python爬取某乎手机APP数据

勾选上对应的选项

配置HTTPS

由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包!

用Python爬取某乎手机APP数据

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler重启Fiddler重启Fiddler!不然可能不生效

二、配置手机代理

 1.设置代理

准备工作

首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网

查看ip命令

window:ipconfig

用Python爬取某乎手机APP数据

开始配置

目标代理主机信息
ip:192.168.31.195

端口:8888

在wifi无线网处进去,点击配置代理

填写好相关代理信息

用Python爬取某乎手机APP数据

2.安装证书

在浏览器输入:

http://192.168.31.195:8888

用Python爬取某乎手机APP数据

点击下载证书后,下面就开始安装(看图操作

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

ok,这样手机端就配置完成,下面开始抓取数据!!!

三、抓取数据

1.打开某乎app

用Python爬取某乎手机APP数据

2.查看数据包列表

打开app之后,Fiddler就已经抓取到数据了

用Python爬取某乎手机APP数据

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件

用Python爬取某乎手机APP数据

这样我们获取的数据包列表就都是过滤条件内的目标网址

用Python爬取某乎手机APP数据

3.查找数据包

比如点击热榜

用Python爬取某乎手机APP数据

对应的https加密数据包如下:

用Python爬取某乎手机APP数据

数据包中的数据如下:

用Python爬取某乎手机APP数据

提取出url链接

用Python爬取某乎手机APP数据

https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

拿到url之后,接着开始编程爬取保存数据。

4.编写爬虫程序

# -*- coding: utf-8 -*-

用Python爬取某乎手机APP数据

ok这样就可以将数据获取下来!

四、总结

1.配置抓包工具Fiddler(重点)。

2.ios苹果手机配置证书和设置代理(安卓手机也类似)。

3.简单使用Fiddler(过滤数据包、查看数据包等)。

4.本文以某乎为实战,实现了python爬取手机app数据

到此这篇关于用Python爬取某乎手机APP数据的文章就介绍到这了,更多相关Python爬取APP数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python 正则表达式 概述及常用字符
May 04 Python
初学Python函数的笔记整理
Apr 07 Python
使用Python的Twisted框架实现一个简单的服务器
Apr 16 Python
Python 包含汉字的文件读写之每行末尾加上特定字符
Dec 12 Python
利用Opencv中Houghline方法实现直线检测
Feb 11 Python
Python3.4实现远程控制电脑开关机
Feb 22 Python
Python 读写文件的操作代码
Sep 20 Python
在Pandas中处理NaN值的方法
Jun 25 Python
Python中包的用法及安装
Feb 11 Python
Python3实现监控新型冠状病毒肺炎疫情的示例代码
Feb 13 Python
django日志默认打印request请求信息的方法示例
May 17 Python
python FTP编程基础入门
Feb 27 Python
七个非常实用的Python工具包总结
python异常中else的实例用法
Jun 15 #Python
Python实现简单的猜单词
Python自动化爬取天眼查数据的实现
浅谈Python响应式类库RxPy
Jun 14 #Python
Python Django ORM连表正反操作技巧
Python scrapy爬取起点中文网小说榜单
You might like
php下使用SimpleXML 处理XML 文件
2010/02/27 PHP
php获取文件大小的方法
2014/02/26 PHP
jquery 圆形旋转图片滚动切换效果
2011/01/19 Javascript
在chrome浏览器中,防止input[text]和textarea在聚焦时出现黄色边框的解决方法
2011/05/24 Javascript
jQuery新的事件绑定机制on()示例应用
2014/07/18 Javascript
jQuery中parentsUntil()方法用法实例
2015/01/07 Javascript
JS运动基础框架实例分析
2015/03/03 Javascript
JavaScript实现SHA-1加密算法的方法
2015/03/11 Javascript
Backbone.js框架中简单的View视图编写学习笔记
2016/02/14 Javascript
深入理解Javascript中的自执行匿名函数
2016/06/03 Javascript
jquery datatable服务端分页
2016/08/31 Javascript
JavaScript类的写法
2016/09/17 Javascript
Javascript从数组中随机取出不同元素的两种方法
2016/09/22 Javascript
微信小程序  audio音频播放详解及实例
2016/11/02 Javascript
基于jQuery实现表格的排序
2016/12/02 Javascript
js date 格式化
2017/02/15 Javascript
Avalonjs双向数据绑定与监听的实例代码
2017/06/23 Javascript
vue实现密码显示隐藏切换功能
2018/02/23 Javascript
fetch 如何实现请求数据
2018/12/20 Javascript
Vuex的actions属性的具体使用
2019/04/14 Javascript
JS实现的检验身份证格式并输出出生日期,年龄,性别,出生地示例
2019/05/17 Javascript
Layui实现主窗口和Iframe层参数传递
2019/11/14 Javascript
[05:09]DOTA2-DPC中国联赛2月22日Recap集锦
2021/03/11 DOTA
Python引用模块和查找模块路径
2016/03/17 Python
Python enumerate索引迭代代码解析
2018/01/19 Python
python3实现SMTP发送邮件详细教程
2018/06/19 Python
使用Python 统计高频字数的方法
2019/01/31 Python
Python多线程:主线程等待所有子线程结束代码
2020/04/25 Python
如何基于Python代码实现高精度免费OCR工具
2020/06/18 Python
英国顶级家庭折扣店:The Works
2017/09/06 全球购物
物流专业大学生职业生涯规划书范文
2014/01/15 职场文书
体育教师自我鉴定
2014/02/12 职场文书
任命书格式
2014/06/05 职场文书
python文件目录操作之os模块
2021/05/08 Python
Android学习之BottomSheetDialog组件的使用
2022/06/21 Java/Android
Spring Boot 的创建和运行示例代码详解
2022/07/23 Java/Android