Python性能分析工具py-spy原理用法解析


Posted in Python onJuly 27, 2020

Py-Spy介绍

引用官方的介绍:

Py-Spy是Python程序的抽样分析器。 它允许您可视化查看Python程序在哪些地方花了更多时间,整个监控方式无需重新启动程序或以任何方式修改工程代码。 Py-Spy的开销非常低:它是用Rust编写的,速度与编译的Python程序不在同一个进程中运行。 这意味着Py-Spy可以安全地用于生成生产环境中的Python应用调优分析。

github:https://github.com/benfred/py-spy

安装

pip install py-spy

安装后使用py-spy - h可以验证安装,并查看使用帮助。

py-spy从命令行工作,并获取要从中采样的程序的PID或要运行的python程序的命令行。py-spy具有三个子命令record,top和dump:

  • record生成火焰图
  • top实时查看每个函数运行时间并统计
  • dump显示每个python线程的当前调用堆栈

Python性能分析工具py-spy原理用法解析

使用py-spy 生成火焰图

​ py-spy是一个非常好用而且简单的库,看完他的readme 介绍文档基本就可以入手使用spy。这个工具一是可以生成profile 火焰图,二是可以定位到程序中最耗时间的代码的位置。它的优点在于完全不用修改代码,相比较其他的一些性能调查工具,py-spy这一点非常棒,当你debug 一个线上正在运行的程序的时候,只需要提供进程id,py-spy 就可以直接生成火焰图。

py-spy record -o profile.svg --pid 12345

或者

py-spy record -o profile.svg-python myprogram.py

"12345" 为程序运行的pid,当运行这行命令的时候,py-spy 开始抽样的程序simlple 并且生成火焰图,我们可以等待1分钟左右 ctrl+c 结束,这时候会在运行这行命令的当前目录下生成 profile.svg 火焰图, 如下图:

Python性能分析工具py-spy原理用法解析

火焰图的分析非常简单直观,主要是看"平顶",看图中最下方那个峰顶是平的,那么程序的性能问题就可以从这里入手去解决,这里不详细介绍火焰图看法,不明白的同学可以自行百度。

​ 通过生成火焰图分析程序瓶颈大概率可以找到并解决80%的程序性能问题,但是还有一种问题,如果我的火焰图没有平顶,但是程序依旧很慢,该如何定位问题?

没有平顶情况下,定位程序中耗时最多函数/代码

如下图,通过火焰图并没有发现程序中的平顶

Python性能分析工具py-spy原理用法解析

Top功能

这时候要用到py-spy 提供的 top 命令,Top显示了在python程序中花费最多时间的功能的实时视图,类似于unix top命令。

py-spy top --pid 12345

py-spy top-python myprogram.py

​ 输入上述命令后,在控制台会显示程序实时的运行状态,这里可以介绍一下图中4个参数的含义, 然后可以通过按1,2,3,4 四个按键,让程序按照下图所述排序。

  • 按%Own排序(当前在该函数中花费的时间的百分比)
  • 按%Total排序(函数及其子级中当前的时间百分比)
  • 按OwnTime排序(函数中花费的总时间)
  • 按TotalTime排序(该函数及其子项花费的总时间)

比较直观的 使用3 , 可以比较直接的看出程序运行中,所占比消耗时间最多的函数,然后从函数如图进行分析,如下图,可以看出 是wrap 装饰器函数消耗的时间最长,我们用wrapt 这个c写的装饰器进行替换后效率有了明显的提升。

Python性能分析工具py-spy原理用法解析

总结 : 使用py-spy 相对于其他一些python性能分析工具,优势在于使用非常简单,而且无须对代码做任何改动,并且可以在保护现场情况下,直接生成火焰图,还可查看实时程序运行状态。

火焰图怎么看

首先你需要知道:

X方向是采样时间。

Y方向是函数调用栈。

如果给你一个这样的火焰图,你应该得出什么信息:

1.a()是开始的执行函数,但没有消耗cpu,在这个函数里执行了b(),h()。

2.a()的两个分支b()和h(),这表明a()里面可能有一个条件语句,继续可以看到b()分支消耗的 CPU 大大高于h()。

3.h()函数没有消耗cpu,cpu全被i()函数占有。

4.b()函数这条支路继续往上,一直到d(),由d()函数的子函数e()消耗一部分cpu,f()下的g()消耗一部分cpu,你会发现d()的最右边往上缺了一块,这块就是d()执行消耗的cpu。

结论:

消耗cpu的函数为e(),g(),d(),i()。

因此,如果要调查性能问题,首先应该调查g(),其次是i()。

Python性能分析工具py-spy原理用法解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python3 实现的人人影视网站自动签到
Jun 19 Python
python制作爬虫爬取京东商品评论教程
Dec 16 Python
python3.5+tesseract+adb实现西瓜视频或头脑王者辅助答题
Jan 17 Python
Python的numpy库中将矩阵转换为列表等函数的方法
Apr 04 Python
详谈python在windows中的文件路径问题
Apr 28 Python
python实现BP神经网络回归预测模型
Aug 09 Python
Python通过递归获取目录下指定文件代码实例
Nov 07 Python
Pytorch Tensor基本数学运算详解
Dec 30 Python
python代码如何注释
Jun 01 Python
Python fileinput模块如何逐行读取多个文件
Oct 05 Python
基于python的opencv图像处理实现对斑马线的检测示例
Nov 29 Python
python中编写函数并调用的知识点总结
Jan 13 Python
python下载的库包存放路径
Jul 27 #Python
Python基础教程之输入输出和运算符
Jul 26 #Python
使用python求斐波那契数列中第n个数的值示例代码
Jul 26 #Python
利用Python实现斐波那契数列的方法实例
Jul 26 #Python
3分钟看懂Python后端必须知道的Django的信号机制
Jul 26 #Python
给Django Admin添加验证码和多次登录尝试限制的实现
Jul 26 #Python
python如何支持并发方法详解
Jul 25 #Python
You might like
PHP 年龄计算函数(精确到天)
2012/06/07 PHP
深入分析php之面向对象
2013/05/15 PHP
PHP5常用函数列表(分享)
2013/06/07 PHP
phpmailer中文乱码问题的解决方法
2014/04/22 PHP
php解析json数据实例
2014/08/19 PHP
php实现仿写CodeIgniter的购物车类
2015/07/29 PHP
firefox 和 ie 事件处理的细节,研究,再研究 书写同时兼容ie和ff的事件处理代码
2007/04/12 Javascript
JS判断不能为空实例代码
2013/11/26 Javascript
jquery实现翻动fadeIn显示的方法
2015/03/05 Javascript
JS仿淘宝实现的简单滑动门效果代码
2015/10/14 Javascript
JavaScript中的普通函数和箭头函数的区别和用法详解
2017/03/21 Javascript
jQuery EasyUI 组件加上“清除”功能实例详解
2017/04/11 jQuery
VUE中使用Vue-resource完成交互
2017/07/21 Javascript
Angular4 ElementRef的应用
2018/02/26 Javascript
Electron-vue脚手架改造vue项目的方法
2018/10/22 Javascript
微信小程序地图绘制线段并且测量(实例代码)
2020/01/02 Javascript
动态创建类实例代码
2009/10/07 Python
Python编程中的反模式实例分析
2014/12/08 Python
python数据预处理之将类别数据转换为数值的方法
2017/07/05 Python
Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能示例
2018/05/16 Python
检测python爬虫时是否代理ip伪装成功的方法
2019/07/12 Python
在django中,关于session的通用设置方法
2019/08/06 Python
在django中自定义字段Field详解
2019/12/03 Python
Python PyPDF2模块安装使用解析
2020/01/19 Python
python GUI库图形界面开发之PyQt5滑块条控件QSlider详细使用方法与实例
2020/02/28 Python
纯css3实现的动画按钮的实例教程
2014/11/17 HTML / CSS
利用CSS3实现单选框动画特效示例代码
2016/09/26 HTML / CSS
倩碧英国官网:Clinique英国
2018/08/10 全球购物
女性时尚在线:IVRose
2019/02/23 全球购物
ANINE BING官方网站:奢华的衣橱基本款和时尚永恒的单品
2019/11/26 全球购物
XMLHttpRequest对象在IE和Firefox中创建方式有没有不同
2016/03/23 面试题
环境工程大学生个人的自我评价
2013/10/08 职场文书
交警个人先进事迹材料
2014/05/11 职场文书
本科毕业论文指导教师评语
2014/12/30 职场文书
趣味运动会新闻稿
2015/07/17 职场文书
使用react-virtualized实现图片动态高度长列表的问题
2021/05/28 Javascript