Python性能分析工具py-spy原理用法解析


Posted in Python onJuly 27, 2020

Py-Spy介绍

引用官方的介绍:

Py-Spy是Python程序的抽样分析器。 它允许您可视化查看Python程序在哪些地方花了更多时间,整个监控方式无需重新启动程序或以任何方式修改工程代码。 Py-Spy的开销非常低:它是用Rust编写的,速度与编译的Python程序不在同一个进程中运行。 这意味着Py-Spy可以安全地用于生成生产环境中的Python应用调优分析。

github:https://github.com/benfred/py-spy

安装

pip install py-spy

安装后使用py-spy - h可以验证安装,并查看使用帮助。

py-spy从命令行工作,并获取要从中采样的程序的PID或要运行的python程序的命令行。py-spy具有三个子命令record,top和dump:

  • record生成火焰图
  • top实时查看每个函数运行时间并统计
  • dump显示每个python线程的当前调用堆栈

Python性能分析工具py-spy原理用法解析

使用py-spy 生成火焰图

​ py-spy是一个非常好用而且简单的库,看完他的readme 介绍文档基本就可以入手使用spy。这个工具一是可以生成profile 火焰图,二是可以定位到程序中最耗时间的代码的位置。它的优点在于完全不用修改代码,相比较其他的一些性能调查工具,py-spy这一点非常棒,当你debug 一个线上正在运行的程序的时候,只需要提供进程id,py-spy 就可以直接生成火焰图。

py-spy record -o profile.svg --pid 12345

或者

py-spy record -o profile.svg-python myprogram.py

"12345" 为程序运行的pid,当运行这行命令的时候,py-spy 开始抽样的程序simlple 并且生成火焰图,我们可以等待1分钟左右 ctrl+c 结束,这时候会在运行这行命令的当前目录下生成 profile.svg 火焰图, 如下图:

Python性能分析工具py-spy原理用法解析

火焰图的分析非常简单直观,主要是看"平顶",看图中最下方那个峰顶是平的,那么程序的性能问题就可以从这里入手去解决,这里不详细介绍火焰图看法,不明白的同学可以自行百度。

​ 通过生成火焰图分析程序瓶颈大概率可以找到并解决80%的程序性能问题,但是还有一种问题,如果我的火焰图没有平顶,但是程序依旧很慢,该如何定位问题?

没有平顶情况下,定位程序中耗时最多函数/代码

如下图,通过火焰图并没有发现程序中的平顶

Python性能分析工具py-spy原理用法解析

Top功能

这时候要用到py-spy 提供的 top 命令,Top显示了在python程序中花费最多时间的功能的实时视图,类似于unix top命令。

py-spy top --pid 12345

py-spy top-python myprogram.py

​ 输入上述命令后,在控制台会显示程序实时的运行状态,这里可以介绍一下图中4个参数的含义, 然后可以通过按1,2,3,4 四个按键,让程序按照下图所述排序。

  • 按%Own排序(当前在该函数中花费的时间的百分比)
  • 按%Total排序(函数及其子级中当前的时间百分比)
  • 按OwnTime排序(函数中花费的总时间)
  • 按TotalTime排序(该函数及其子项花费的总时间)

比较直观的 使用3 , 可以比较直接的看出程序运行中,所占比消耗时间最多的函数,然后从函数如图进行分析,如下图,可以看出 是wrap 装饰器函数消耗的时间最长,我们用wrapt 这个c写的装饰器进行替换后效率有了明显的提升。

Python性能分析工具py-spy原理用法解析

总结 : 使用py-spy 相对于其他一些python性能分析工具,优势在于使用非常简单,而且无须对代码做任何改动,并且可以在保护现场情况下,直接生成火焰图,还可查看实时程序运行状态。

火焰图怎么看

首先你需要知道:

X方向是采样时间。

Y方向是函数调用栈。

如果给你一个这样的火焰图,你应该得出什么信息:

1.a()是开始的执行函数,但没有消耗cpu,在这个函数里执行了b(),h()。

2.a()的两个分支b()和h(),这表明a()里面可能有一个条件语句,继续可以看到b()分支消耗的 CPU 大大高于h()。

3.h()函数没有消耗cpu,cpu全被i()函数占有。

4.b()函数这条支路继续往上,一直到d(),由d()函数的子函数e()消耗一部分cpu,f()下的g()消耗一部分cpu,你会发现d()的最右边往上缺了一块,这块就是d()执行消耗的cpu。

结论:

消耗cpu的函数为e(),g(),d(),i()。

因此,如果要调查性能问题,首先应该调查g(),其次是i()。

Python性能分析工具py-spy原理用法解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
遍历python字典几种方法总结(推荐)
Sep 11 Python
python 读文件,然后转化为矩阵的实例
Apr 23 Python
将tensorflow的ckpt模型存储为npy的实例
Jul 09 Python
Python告诉你木马程序的键盘记录原理
Feb 02 Python
python调试神器PySnooper的使用
Jul 03 Python
python爬虫增加访问量的方法
Aug 22 Python
浅谈Python3 numpy.ptp()最大值与最小值的差
Aug 24 Python
django-rest-swagger的优化使用方法
Aug 29 Python
python使用numpy实现直方图反向投影示例
Jan 17 Python
python实现吃苹果小游戏
Mar 21 Python
python使用scapy模块实现ARP扫描的过程
Jan 21 Python
Python实现京东抢秒杀功能
Jan 25 Python
python下载的库包存放路径
Jul 27 #Python
Python基础教程之输入输出和运算符
Jul 26 #Python
使用python求斐波那契数列中第n个数的值示例代码
Jul 26 #Python
利用Python实现斐波那契数列的方法实例
Jul 26 #Python
3分钟看懂Python后端必须知道的Django的信号机制
Jul 26 #Python
给Django Admin添加验证码和多次登录尝试限制的实现
Jul 26 #Python
python如何支持并发方法详解
Jul 25 #Python
You might like
社区(php&&mysql)四
2006/10/09 PHP
php集成套件服务器xampp安装使用教程(适合第一次玩PHP的新手)
2015/06/03 PHP
PHP创建文件,并向文件中写入数据,覆盖,追加的实现代码
2016/03/25 PHP
Laravel日志用法详解
2016/10/09 PHP
javascript实现的平方米、亩、公顷单位换算小程序
2014/08/11 Javascript
什么是 AngularJS?AngularJS简介
2014/12/06 Javascript
JS继承用法实例分析
2015/02/05 Javascript
JavaScript显示表单内元素数量的方法
2015/04/02 Javascript
[原创]Javascript 实现广告后加载 可加载百度谷歌联盟广告
2016/05/11 Javascript
javascript url几种编码方式详解
2016/06/06 Javascript
jQuery中实现prop()函数控制多选框(全选,反选)
2016/08/19 Javascript
关于JavaScript和jQuery的类型判断详解
2016/10/08 Javascript
Vue2.x中的父组件传递数据至子组件的方法
2017/05/01 Javascript
jQuery实现的中英文切换功能示例
2019/01/11 jQuery
详解JavaScript函数callee、call、apply的区别
2019/03/08 Javascript
vue父子组件通信的高级用法示例
2019/08/29 Javascript
编写一个javascript元循环求值器的方法
2020/04/14 Javascript
[02:05]2014DOTA2西雅图国际邀请赛 BBC第二天小组赛总结
2014/07/11 DOTA
[01:21]辉夜杯战队访谈宣传片—CDEC
2015/12/25 DOTA
Python实现获取某天是某个月中的第几周
2015/02/11 Python
Python XlsxWriter模块Chart类用法实例分析
2019/03/11 Python
在python下使用tensorflow判断是否存在文件夹的实例
2019/06/10 Python
python字符串中匹配数字的正则表达式
2019/07/03 Python
python使用opencv对图像mask处理的方法
2019/07/05 Python
TensorFlow学习之分布式的TensorFlow运行环境
2020/02/05 Python
python三引号如何输入
2020/07/06 Python
全球知名鞋履品牌授权零售商:Journeys
2016/09/17 全球购物
应届生学校辅导员求职信
2013/11/07 职场文书
2014年师德师风学习材料
2014/05/16 职场文书
社区党建工作汇报材料
2014/10/27 职场文书
小班下学期幼儿评语
2014/12/30 职场文书
护士自荐信范文
2015/03/25 职场文书
教师求职自荐信
2015/03/26 职场文书
因家庭原因离职的辞职信范文
2015/05/12 职场文书
《抽屉原理》教学反思
2016/02/20 职场文书
Python中的 enumerate和zip详情
2022/05/30 Python