Python性能分析工具py-spy原理用法解析


Posted in Python onJuly 27, 2020

Py-Spy介绍

引用官方的介绍:

Py-Spy是Python程序的抽样分析器。 它允许您可视化查看Python程序在哪些地方花了更多时间,整个监控方式无需重新启动程序或以任何方式修改工程代码。 Py-Spy的开销非常低:它是用Rust编写的,速度与编译的Python程序不在同一个进程中运行。 这意味着Py-Spy可以安全地用于生成生产环境中的Python应用调优分析。

github:https://github.com/benfred/py-spy

安装

pip install py-spy

安装后使用py-spy - h可以验证安装,并查看使用帮助。

py-spy从命令行工作,并获取要从中采样的程序的PID或要运行的python程序的命令行。py-spy具有三个子命令record,top和dump:

  • record生成火焰图
  • top实时查看每个函数运行时间并统计
  • dump显示每个python线程的当前调用堆栈

Python性能分析工具py-spy原理用法解析

使用py-spy 生成火焰图

​ py-spy是一个非常好用而且简单的库,看完他的readme 介绍文档基本就可以入手使用spy。这个工具一是可以生成profile 火焰图,二是可以定位到程序中最耗时间的代码的位置。它的优点在于完全不用修改代码,相比较其他的一些性能调查工具,py-spy这一点非常棒,当你debug 一个线上正在运行的程序的时候,只需要提供进程id,py-spy 就可以直接生成火焰图。

py-spy record -o profile.svg --pid 12345

或者

py-spy record -o profile.svg-python myprogram.py

"12345" 为程序运行的pid,当运行这行命令的时候,py-spy 开始抽样的程序simlple 并且生成火焰图,我们可以等待1分钟左右 ctrl+c 结束,这时候会在运行这行命令的当前目录下生成 profile.svg 火焰图, 如下图:

Python性能分析工具py-spy原理用法解析

火焰图的分析非常简单直观,主要是看"平顶",看图中最下方那个峰顶是平的,那么程序的性能问题就可以从这里入手去解决,这里不详细介绍火焰图看法,不明白的同学可以自行百度。

​ 通过生成火焰图分析程序瓶颈大概率可以找到并解决80%的程序性能问题,但是还有一种问题,如果我的火焰图没有平顶,但是程序依旧很慢,该如何定位问题?

没有平顶情况下,定位程序中耗时最多函数/代码

如下图,通过火焰图并没有发现程序中的平顶

Python性能分析工具py-spy原理用法解析

Top功能

这时候要用到py-spy 提供的 top 命令,Top显示了在python程序中花费最多时间的功能的实时视图,类似于unix top命令。

py-spy top --pid 12345

py-spy top-python myprogram.py

​ 输入上述命令后,在控制台会显示程序实时的运行状态,这里可以介绍一下图中4个参数的含义, 然后可以通过按1,2,3,4 四个按键,让程序按照下图所述排序。

  • 按%Own排序(当前在该函数中花费的时间的百分比)
  • 按%Total排序(函数及其子级中当前的时间百分比)
  • 按OwnTime排序(函数中花费的总时间)
  • 按TotalTime排序(该函数及其子项花费的总时间)

比较直观的 使用3 , 可以比较直接的看出程序运行中,所占比消耗时间最多的函数,然后从函数如图进行分析,如下图,可以看出 是wrap 装饰器函数消耗的时间最长,我们用wrapt 这个c写的装饰器进行替换后效率有了明显的提升。

Python性能分析工具py-spy原理用法解析

总结 : 使用py-spy 相对于其他一些python性能分析工具,优势在于使用非常简单,而且无须对代码做任何改动,并且可以在保护现场情况下,直接生成火焰图,还可查看实时程序运行状态。

火焰图怎么看

首先你需要知道:

X方向是采样时间。

Y方向是函数调用栈。

如果给你一个这样的火焰图,你应该得出什么信息:

1.a()是开始的执行函数,但没有消耗cpu,在这个函数里执行了b(),h()。

2.a()的两个分支b()和h(),这表明a()里面可能有一个条件语句,继续可以看到b()分支消耗的 CPU 大大高于h()。

3.h()函数没有消耗cpu,cpu全被i()函数占有。

4.b()函数这条支路继续往上,一直到d(),由d()函数的子函数e()消耗一部分cpu,f()下的g()消耗一部分cpu,你会发现d()的最右边往上缺了一块,这块就是d()执行消耗的cpu。

结论:

消耗cpu的函数为e(),g(),d(),i()。

因此,如果要调查性能问题,首先应该调查g(),其次是i()。

Python性能分析工具py-spy原理用法解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python运行其他程序的实现方法
Jul 14 Python
获取python的list中含有重复值的index方法
Jun 27 Python
使用 Python 实现简单的 switch/case 语句的方法
Sep 17 Python
django用户登录验证的完整示例代码
Jul 21 Python
对django中foreignkey的简单使用详解
Jul 28 Python
Pandas实现DataFrame按行求百分数(比例数)
Dec 27 Python
6行Python代码实现进度条效果(Progress、tqdm、alive-progress​​​​​​​和PySimpleGUI库)
Jan 06 Python
jupyter notebook 增加kernel教程
Apr 10 Python
如何在Python对Excel进行读取
Jun 04 Python
python中关于数据类型的学习笔记
Jul 19 Python
详解python变量与数据类型
Aug 25 Python
Python中with上下文管理协议的作用及用法
Mar 18 Python
python下载的库包存放路径
Jul 27 #Python
Python基础教程之输入输出和运算符
Jul 26 #Python
使用python求斐波那契数列中第n个数的值示例代码
Jul 26 #Python
利用Python实现斐波那契数列的方法实例
Jul 26 #Python
3分钟看懂Python后端必须知道的Django的信号机制
Jul 26 #Python
给Django Admin添加验证码和多次登录尝试限制的实现
Jul 26 #Python
python如何支持并发方法详解
Jul 25 #Python
You might like
全国FM电台频率大全 - 24 贵州省
2020/03/11 无线电
西德产收音机
2021/03/01 无线电
PHP SPL标准库之SplFixedArray使用实例
2015/05/12 PHP
ThinkPHP和UCenter接口冲突的解决方法
2016/07/25 PHP
php+Memcached实现简单留言板功能示例
2017/02/15 PHP
PHP+ajax实现二级联动菜单功能示例
2018/08/10 PHP
基于jQuery的input输入框下拉提示层(自动邮箱后缀名)
2012/06/14 Javascript
js通过元素class名字获取元素集合的具体实现
2014/01/06 Javascript
js写的方法实现上传图片之后查看大图
2014/03/05 Javascript
jquery编写Tab选项卡滚动导航切换特效
2020/07/17 Javascript
JS实现数字格式千分位相互转换方法
2016/08/01 Javascript
angular实现spa单页面应用实例
2017/07/10 Javascript
基于构造函数的五种继承方法小结
2017/07/27 Javascript
vue axios 给生产环境和发布环境配置不同的接口地址(推荐)
2018/05/08 Javascript
Vue引入jquery实现平滑滚动到指定位置
2018/05/09 jQuery
vue.js添加一些触摸事件以及安装fastclick的实例
2018/08/28 Javascript
React注册倒计时功能的实现
2018/09/06 Javascript
微信小程序实现跳转的几种方式总结(推荐)
2019/04/24 Javascript
vue中echarts的用法及与elementui-select的协同绑定操作
2020/11/17 Vue.js
利用Python-iGraph如何绘制贴吧/微博的好友关系图详解
2017/11/02 Python
基于tensorflow加载部分层的方法
2018/07/26 Python
Python 将Matrix、Dict保存到文件的方法
2018/10/30 Python
在PyCharm下打包*.py程序成.exe的方法
2018/11/29 Python
Python实现平行坐标图的两种方法小结
2019/07/04 Python
解决 jupyter notebook 回车换两行问题
2020/04/15 Python
Python虚拟环境的创建和包下载过程分析
2020/06/19 Python
Rodd & Gunn澳大利亚官网:新西兰男装品牌
2018/09/25 全球购物
电脑饰品店的创业计划书
2014/01/21 职场文书
公司会计主管岗位责任制
2014/03/01 职场文书
项目施工员岗位职责
2014/03/09 职场文书
高三毕业寄语
2014/04/10 职场文书
清正廉洁演讲稿
2014/05/22 职场文书
校园绿化美化方案
2014/06/08 职场文书
关于教师节的广播稿
2014/09/10 职场文书
解放思想大讨论活动总结
2015/05/09 职场文书
初任公务员培训心得体会
2016/01/08 职场文书