Python性能分析工具py-spy原理用法解析


Posted in Python onJuly 27, 2020

Py-Spy介绍

引用官方的介绍:

Py-Spy是Python程序的抽样分析器。 它允许您可视化查看Python程序在哪些地方花了更多时间,整个监控方式无需重新启动程序或以任何方式修改工程代码。 Py-Spy的开销非常低:它是用Rust编写的,速度与编译的Python程序不在同一个进程中运行。 这意味着Py-Spy可以安全地用于生成生产环境中的Python应用调优分析。

github:https://github.com/benfred/py-spy

安装

pip install py-spy

安装后使用py-spy - h可以验证安装,并查看使用帮助。

py-spy从命令行工作,并获取要从中采样的程序的PID或要运行的python程序的命令行。py-spy具有三个子命令record,top和dump:

  • record生成火焰图
  • top实时查看每个函数运行时间并统计
  • dump显示每个python线程的当前调用堆栈

Python性能分析工具py-spy原理用法解析

使用py-spy 生成火焰图

​ py-spy是一个非常好用而且简单的库,看完他的readme 介绍文档基本就可以入手使用spy。这个工具一是可以生成profile 火焰图,二是可以定位到程序中最耗时间的代码的位置。它的优点在于完全不用修改代码,相比较其他的一些性能调查工具,py-spy这一点非常棒,当你debug 一个线上正在运行的程序的时候,只需要提供进程id,py-spy 就可以直接生成火焰图。

py-spy record -o profile.svg --pid 12345

或者

py-spy record -o profile.svg-python myprogram.py

"12345" 为程序运行的pid,当运行这行命令的时候,py-spy 开始抽样的程序simlple 并且生成火焰图,我们可以等待1分钟左右 ctrl+c 结束,这时候会在运行这行命令的当前目录下生成 profile.svg 火焰图, 如下图:

Python性能分析工具py-spy原理用法解析

火焰图的分析非常简单直观,主要是看"平顶",看图中最下方那个峰顶是平的,那么程序的性能问题就可以从这里入手去解决,这里不详细介绍火焰图看法,不明白的同学可以自行百度。

​ 通过生成火焰图分析程序瓶颈大概率可以找到并解决80%的程序性能问题,但是还有一种问题,如果我的火焰图没有平顶,但是程序依旧很慢,该如何定位问题?

没有平顶情况下,定位程序中耗时最多函数/代码

如下图,通过火焰图并没有发现程序中的平顶

Python性能分析工具py-spy原理用法解析

Top功能

这时候要用到py-spy 提供的 top 命令,Top显示了在python程序中花费最多时间的功能的实时视图,类似于unix top命令。

py-spy top --pid 12345

py-spy top-python myprogram.py

​ 输入上述命令后,在控制台会显示程序实时的运行状态,这里可以介绍一下图中4个参数的含义, 然后可以通过按1,2,3,4 四个按键,让程序按照下图所述排序。

  • 按%Own排序(当前在该函数中花费的时间的百分比)
  • 按%Total排序(函数及其子级中当前的时间百分比)
  • 按OwnTime排序(函数中花费的总时间)
  • 按TotalTime排序(该函数及其子项花费的总时间)

比较直观的 使用3 , 可以比较直接的看出程序运行中,所占比消耗时间最多的函数,然后从函数如图进行分析,如下图,可以看出 是wrap 装饰器函数消耗的时间最长,我们用wrapt 这个c写的装饰器进行替换后效率有了明显的提升。

Python性能分析工具py-spy原理用法解析

总结 : 使用py-spy 相对于其他一些python性能分析工具,优势在于使用非常简单,而且无须对代码做任何改动,并且可以在保护现场情况下,直接生成火焰图,还可查看实时程序运行状态。

火焰图怎么看

首先你需要知道:

X方向是采样时间。

Y方向是函数调用栈。

如果给你一个这样的火焰图,你应该得出什么信息:

1.a()是开始的执行函数,但没有消耗cpu,在这个函数里执行了b(),h()。

2.a()的两个分支b()和h(),这表明a()里面可能有一个条件语句,继续可以看到b()分支消耗的 CPU 大大高于h()。

3.h()函数没有消耗cpu,cpu全被i()函数占有。

4.b()函数这条支路继续往上,一直到d(),由d()函数的子函数e()消耗一部分cpu,f()下的g()消耗一部分cpu,你会发现d()的最右边往上缺了一块,这块就是d()执行消耗的cpu。

结论:

消耗cpu的函数为e(),g(),d(),i()。

因此,如果要调查性能问题,首先应该调查g(),其次是i()。

Python性能分析工具py-spy原理用法解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python操作MySQL数据库具体方法
Oct 28 Python
Python中使用Tkinter模块创建GUI程序实例
Jan 14 Python
python使用正则表达式分析网页中的图片并进行替换的方法
Mar 26 Python
Python打开文件,将list、numpy数组内容写入txt文件中的方法
Oct 26 Python
python 不同方式读取文件速度不同的实例
Nov 09 Python
python Pexpect 实现输密码 scp 拷贝的方法
Jan 03 Python
Django项目使用CircleCI的方法示例
Jul 14 Python
Django之使用内置函数和celery发邮件的方法示例
Sep 16 Python
flask实现验证码并验证功能
Dec 05 Python
Anaconda+spyder+pycharm的pytorch配置详解(GPU)
Oct 18 Python
python+requests实现接口测试的完整步骤
Oct 27 Python
深度学习详解之初试机器学习
Apr 14 Python
python下载的库包存放路径
Jul 27 #Python
Python基础教程之输入输出和运算符
Jul 26 #Python
使用python求斐波那契数列中第n个数的值示例代码
Jul 26 #Python
利用Python实现斐波那契数列的方法实例
Jul 26 #Python
3分钟看懂Python后端必须知道的Django的信号机制
Jul 26 #Python
给Django Admin添加验证码和多次登录尝试限制的实现
Jul 26 #Python
python如何支持并发方法详解
Jul 25 #Python
You might like
php session 预定义数组
2009/03/16 PHP
两个强悍的php 图像处理类1
2009/06/15 PHP
php中DOMElement操作xml文档实例演示
2013/03/26 PHP
计算php页面运行时间的函数介绍
2013/07/01 PHP
兼容ie和firefox js关闭代码
2008/12/11 Javascript
js中判断控件是否存在
2010/08/25 Javascript
JavaScript动态调整TextArea高度的代码
2010/12/28 Javascript
Extjs407 getValue()和getRawValue()区别介绍
2013/05/21 Javascript
JS小功能(setInterval实现图片效果显示时间)实例代码
2013/11/28 Javascript
javascript中sort()的用法实例分析
2015/01/30 Javascript
node.js require() 源码解读
2015/12/13 Javascript
基于jquery实现下拉框美化特效
2016/02/02 Javascript
Angular 项目实现国际化的方法
2018/01/08 Javascript
vue axios 表单提交上传图片的实例
2018/03/16 Javascript
详解ES6中的三种异步解决方案
2018/06/28 Javascript
jquery ajax加载数据前台渲染方式 不用for遍历的方法
2018/08/09 jQuery
vue中根据时间戳判断对应的时间(今天 昨天 前天)
2019/12/20 Javascript
Vue中通过vue-router实现命名视图的问题
2020/04/23 Javascript
解决谷歌搜索技术文章时打不开网页问题的python脚本
2013/02/10 Python
python使用reportlab画图示例(含中文汉字)
2013/12/03 Python
Python实例一个类背后发生了什么
2016/02/09 Python
python3 破解 geetest(极验)的滑块验证码功能
2018/02/24 Python
JavaScript中的模拟事件和自定义事件实例分析
2018/07/27 Python
在python中使用requests 模拟浏览器发送请求数据的方法
2018/12/26 Python
Python深拷贝与浅拷贝用法实例分析
2019/05/05 Python
浅谈PyQt5 的帮助文档查找方法,可以查看每个类的方法
2019/06/25 Python
关于pytorch多GPU训练实例与性能对比分析
2019/08/19 Python
python logging.basicConfig不生效的原因及解决
2020/02/20 Python
聪明的粉丝购买门票的地方:TickPick
2018/03/09 全球购物
室内设计专业个人的自我评价
2013/12/18 职场文书
思想品德自我评价
2014/02/04 职场文书
总经理助理岗位职责范本
2015/03/31 职场文书
2015年公务员个人工作总结
2015/04/24 职场文书
小学毕业教师寄语
2019/06/21 职场文书
Go使用协程交替打印字符
2021/04/29 Golang
MySQL大小写敏感的注意事项
2021/05/24 MySQL