Python3爬虫mitmproxy的安装步骤


Posted in Python onJuly 29, 2020

mitmproxy是一个支持HTTP和HTTPS的抓包程序,类似Fiddler、Charles的功能,只不过它通过控制台的形式操作。

此外,mitmproxy还有两个关联组件,一个是mitmdump,它是mitmproxy的命令行接口,利用它可以对接Python脚本,实现监听后的处理;另一个是mitmweb,它是一个Web程序,通过它以清楚地观察到mitmproxy捕获的请求。

本节中,我们就来了解一下mitmproxy、mitmdump和mitmweb的安装方式。

1. 相关链接

GitHub:https://github.com/mitmproxy/mitmproxy

官方网站:https://mitmproxy.org

PyPI:https://pypi.python.org/pypi/mitmproxy

官方文档:http://docs.mitmproxy.org

mitmdump脚本:http://docs.mitmproxy.org/en/stable/scripting/overview.html

下载地址:https://github.com/mitmproxy/mitmproxy/releases

DockerHub:https://hub.docker.com/r/mitmproxy/mitmproxy

2. pip安装

最简单的安装方式还是使用pip,直接执行如下命令即可安装:

pip3 install mitmproxy

这是最简单和通用的安装方式,执行完毕之后即可完成mitmproxy的安装,另外还附带安装了mitmdump和mitmweb这两个组件。如果不想用这种方式安装,也可以选择后面列出的专门针对各个平台的安装方式或者Docker安装方式。

3. Windows下的安装

可以到GitHub上的Releases页面(链接为:https://github.com/mitmproxy/mitmproxy/releases/)获取安装包,如图1-59所示。

Python3爬虫mitmproxy的安装步骤

图1-59 下载页面

比如,当前的最新版本为2.0.2,则可以选择下载Windows下的exe安装包mitmproxy-2.0.2-windows-installer.exe,下载后直接双击安装包即可安装。

注意,在Windows上不支持mitmproxy的控制台接口,但是可以使用mitmdump和mitmweb。

4. Linux下的安装

在Linux下,可以下载编译好的二进制包(下载地址https://github.com/mitmproxy/mitmproxy/releases/),此发行包一般是最新版本,它包含了最新版本的mitmproxy和内置的Python 3环境,以及最新的OpenSSL环境。

如果你的环境里没有Python 3和OpenSSL环境,建议使用此种方式安装。

下载之后,需要解压并将其配置到环境变量:

tar -zxvf mitmproxy-2.0.2-linux.tar.gz
sudo mv mitmproxy mitmdump mitmweb /usr/bin

这样就可以将3个可执行文件移动到了/usr/bin目录。而一般情况下,/usr/bin目录都已经配置在了环境变量下,所以接下来可以直接调用这3个工具了。

5. Mac下的安装

Mac下的安装非常简单,直接使用Homebrew即可,命令如下:

brew install mitmproxy

执行命令后,即可完成mitmproxy的安装。

6. Docker安装

mitmproxy也支持Docker,其DockerHub的地址为https://hub.docker.com/r/mitmproxy/mitmproxy/。

在Docker下,mitmproxy的安装命令为:

docker run --rm -it -p 8080:8080 mitmproxy/mitmproxy mitmdump

这样就在8080端口上启动了mitmproxy和mitmdump。

如果想要获取CA证书,可以选择挂载磁盘选项,命令如下:

docker run --rm -it -v ~/.mitmproxy:/home/mitmproxy/.mitmproxy -p 8080:8080 mitmproxy/mitmproxy mitmdump

这样就可以在~/.mitmproxy目录下找到CA证书。

另外,还可以在8081端口上启动mitmweb,命令如下:

docker run --rm -it -p 8080:8080 -p 127.0.0.1:8081:8081 mitmproxy/mitmproxy mitmweb

更多启动方式可以参考Docker Hub的安装说明。

7. 证书配置

对于mitmproxy来说,如果想要截获HTTPS请求,就需要设置证书。mitmproxy在安装后会提供一套CA证书,只要客户端信任了mitmproxy提供的证书,就可以通过mitmproxy获取HTTPS请求的具体内容,否则mitmproxy是无法解析HTTPS请求的。

首先,运行以下命令产生CA证书,并启动mitmdump:

mitmdump

接下来,我们就可以在用户目录下的.mitmproxy目录里面找到CA证书,如图1-60所示。

Python3爬虫mitmproxy的安装步骤

图1-60 证书文件

证书一共5个,表1-1简要说明了这5个证书。

表1-1 5个证书及其说明

Python3爬虫mitmproxy的安装步骤

下面我们介绍一下Windows、Mac、iOS和Android平台下的证书配置过程。

Windows

双击mitmproxy-ca.p12,就会出现导入证书的引导页,如图1-61所示。

Python3爬虫mitmproxy的安装步骤

图1-61 证书导入向导

直接点击“下一步”按钮即可,会出现密码设置提示,如图1-62所示。

Python3爬虫mitmproxy的安装步骤

图1-62 密码设置提示

这里不需要设置密码,直接点击“下一步”按钮即可。

接下来需要选择证书的存储区域,如图1-63所示。这里点击第二个选项“将所有的证书都放入下列存储”,然后点击“浏览”按钮,选择证书存储位置为“受信任的根证书颁发机构”,接着点击“确定”按钮,然后点击“下一步”按钮。

Python3爬虫mitmproxy的安装步骤

图1-63 选择证书存储区域

最后,如果有安全警告弹出,如图1-64所示,直接点击“是”按钮即可。

Python3爬虫mitmproxy的安装步骤

图1-64 安全警告

这样就在Windows下配置完CA证书了。

Mac

Mac下双击mitmproxy-ca-cert.pem即可弹出钥匙串管理页面,然后找到mitmproxy证书,打开其设置选项,选择“始终信任”即可,如图1-65所示。

Python3爬虫mitmproxy的安装步骤

图1-65 证书配置

iOS

将mitmproxy-ca-cert.pem文件发送到iPhone上,推荐使用邮件方式发送,然后在iPhone上可以直接点击附件并识别安装,如图1-66所示。

Python3爬虫mitmproxy的安装步骤

图1-66 证书安装页面

点击“安装”按钮之后,会跳到安装描述文件的页面,点击“安装”按钮,此时会有警告提示,如图1-67所示。

Python3爬虫mitmproxy的安装步骤

图1-67 安装警告页面

继续点击右上角的“安装”按钮,安装成功之后会有已安装的提示,如图1-68所示。

Python3爬虫mitmproxy的安装步骤

图1-68 安装成功页面

如果你的iOS版本是10.3以下的话,此处信任CA证书的流程就已经完成了。

如果你的iOS版本是10.3及以上版本,还需要在“设置”→“通用”→“关于本机”→“证书信任设置”将mitmproxy的完全信任开关打开,如图1-69所示。此时,在iOS上配置信任CA证书的流程就结束了。

Python3爬虫mitmproxy的安装步骤

图1-69 证书信任设置

Android

在Android手机上,同样需要将证书mitmproxy-ca-cert.pem文件发送到手机上,例如直接复制文件。

接下来,点击证书,便会出现一个提示窗口,如图1-70所示。

Python3爬虫mitmproxy的安装步骤

图1-70 证书安装页面

这时输入证书的名称,然后点击“确定”按钮即可完成安装。

到此这篇关于Python3爬虫mitmproxy的安装步骤的文章就介绍到这了,更多相关Python3爬虫mitmproxy的安装内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中SOAP项目的介绍及其在web开发中的应用
Apr 14 Python
Python中的ctime()方法使用教程
May 22 Python
使用Python做垃圾分类的原理及实例代码附源码
Jul 02 Python
Python 图像处理: 生成二维高斯分布蒙版的实例
Jul 04 Python
python读取.mat文件的数据及实例代码
Jul 12 Python
python+Django实现防止SQL注入的办法
Oct 31 Python
python模块如何查看
Jun 16 Python
python 删除excel表格重复行,数据预处理操作
Jul 06 Python
Python3.8安装Pygame教程步骤详解
Aug 14 Python
python 实现围棋游戏(纯tkinter gui)
Nov 13 Python
python中os.remove()用法及注意事项
Jan 31 Python
Python中的xlrd模块使用整理
Jun 15 Python
Python使用jpype模块调用jar包过程解析
Jul 29 #Python
Python 防止死锁的方法
Jul 29 #Python
Python定义一个Actor任务
Jul 29 #Python
Python如何重新加载模块
Jul 29 #Python
Python加速程序运行的方法
Jul 29 #Python
如何在python中判断变量的类型
Jul 29 #Python
Python中的With语句的使用及原理
Jul 29 #Python
You might like
『PHP』PHP截断函数mb_substr()使用介绍
2013/04/22 PHP
PHP中ini_set与ini_get用法实例
2014/11/04 PHP
php实现session自定义会话处理器的方法
2015/01/27 PHP
PHP借助phpmailer发送邮件
2015/05/11 PHP
PHP使用内置函数file_put_contents写入文件及追加内容的方法
2015/12/07 PHP
PHP上传文件参考配置大文件上传
2015/12/16 PHP
SCP远程VPS快速搬家和WDCP升级php5.3安装memcached和eaccelerator教程
2017/07/27 PHP
PHP使用星号替代用户名手机和邮箱的实现代码
2018/02/07 PHP
Javascript 强制类型转换函数
2009/05/17 Javascript
JavaScript 弹出窗体点击按钮返回选择数据的实现
2010/04/01 Javascript
理解Javascript_12_执行模型浅析
2010/10/18 Javascript
Javascript快速排序算法详解
2014/12/03 Javascript
JavaScript多线程详解
2015/08/12 Javascript
轻松实现jquery手风琴效果
2016/01/14 Javascript
你可能不知道的前端算法之文字避让(inMap)
2018/01/12 Javascript
javascriptvoid(0)含义以及与"#"的区别讲解
2019/01/19 Javascript
vue-drag-chart 拖动/缩放图表组件的实例代码
2020/04/10 Javascript
如何基于layui的laytpl实现数据绑定的示例代码
2020/04/10 Javascript
Python os模块介绍
2014/11/30 Python
使用pyecharts无法import Bar的解决方案
2020/04/23 Python
python自动化脚本安装指定版本python环境详解
2017/09/14 Python
Python实现的json文件读取及中文乱码显示问题解决方法
2018/08/06 Python
Django+python服务器部署与环境部署教程详解
2020/03/30 Python
python图片验证码识别最新模块muggle_ocr的示例代码
2020/07/03 Python
python如何快速拼接字符串
2020/10/28 Python
利用HTML5+css3+jquery+weui实现仿微信聊天界面功能
2018/01/08 HTML / CSS
Clarks英国官方网站:全球领军鞋履品牌
2016/11/26 全球购物
阿迪达斯中国官网:Adidas中国
2020/12/14 全球购物
全球精选男装和家居用品:Article
2020/04/13 全球购物
英国户外服装、鞋类和设备的领先零售商:Millets
2020/10/12 全球购物
门卫岗位职责
2013/11/15 职场文书
年检委托书
2014/08/30 职场文书
中秋节国旗下演讲稿
2014/09/13 职场文书
大学生见习报告范文
2014/11/03 职场文书
保洁员岗位职责
2015/02/04 职场文书
如何更改Win11声音输出设备?Win11声音输出设备四种更改方法
2022/04/08 数码科技