python如何做代码性能分析


Posted in Python onApril 26, 2021

上一篇文章我们介绍了基准测试,通过基准测试可以发现程序变慢了,那么是因为什么原因导致性能变慢的,需要进一步做代码性能分析。python同样提供了性能分析工具。

cProfile

cProfile是python默认的性能分析器,他只测量CPU时间,并不关心内存消耗和其他与内存相关联的信息。

from time import sleep
import random


def random_list(start, end, length):
    """
    生成随机列表
    :param start: 随机开始数
    :param end: 随机结束数
    :param length: 列表长度
    """
    data_list = []
    for i in range(length):
        data_list.append(random.randint(start, end))
    return data_list


def bubble_sort(arr):
    """
    冒泡排序: 对列表进行排序
    :param arr 列表
    """
    n = len(arr)
    sleep(1)
    for i in range(n):
        for j in range(0, n - i - 1):
            if arr[j] > arr[j + 1]:
                arr[j], arr[j + 1] = arr[j + 1], arr[j]
    return arr


if __name__ == '__main__':
    get_data_list = random_list(1, 99, 10)

    import cProfile
    cProfile.run('bubble_sort({})'.format(get_data_list))

继续使用上一篇文章中的例子,引用cProfile模块,run()方法参数说明。

run(statement, filename=None, sort=-1)

  • statement: 需要测试的代码或者函数(函数名)
  • fielname: 结果保存的位置, 默认为stdout
  • sort: 结果排序方法,常用的有cumtime: 累积时间, name: 函数名, line: 行号

为了使结果统计出耗时部分,我们加了sleep,结果如下:

❯ python demo.py
         6 function calls in 1.004 seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    1.004    1.004 <string>:1(<module>)
        1    0.000    0.000    1.004    1.004 demo.py:19(bubble_sort)
        1    0.000    0.000    1.004    1.004 {built-in method builtins.exec}
        1    0.000    0.000    0.000    0.000 {built-in method builtins.len}
        1    1.004    1.004    1.004    1.004 {built-in method time.sleep}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}
  • 6 function calls in 1.004 seconds 6个函数调用被监控,耗时1.004秒。
  • ncalls 函数被调用的次数。如果这一列有两个值,就表示有递归调用,第二个值是原生调用次数,第一个值是总调用次数。
  • tottime 函数内部消耗的总时间。(可以帮助优化)
  • percall 是tottime除以ncalls,一个函数每次调用平均消耗时间。
  • cumtime 之前所有子函数消费时间的累计和。
  • filename:lineno(function) 被分析函数所在文件名、行号、函数名。

line_profiler

line_profiler 可以提供有关时间是如何在各行之间分配的信息,直白一点就是给出程序每行的耗时,在无法确定哪行语句最浪费时间,这很有用。

line_profiler是一个第三方模块,需要安装。

https://github.com/pyutils/line_profiler

from time import sleep
import random


def random_list(start, end, length):
    """
    生成随机列表
    :param start: 随机开始数
    :param end: 随机结束数
    :param length: 列表长度
    """
    data_list = []
    for i in range(length):
        data_list.append(random.randint(start, end))
    return data_list


@profile
def bubble_sort(arr):
    """
    冒泡排序: 对列表进行排序
    :param arr 列表
    """
    n = len(arr)
    sleep(1)
    for i in range(n):
        for j in range(0, n - i - 1):
            if arr[j] > arr[j + 1]:
                arr[j], arr[j + 1] = arr[j + 1], arr[j]
    return arr


if __name__ == '__main__':
    get_data_list = random_list(1, 99, 10)
    bubble_sort(get_data_list)

给需要监控的函数加上@profile 装饰器。通过kernprof命令运行文件(安装完line_profiler生成的命令)。

参数说明:

  • -l:以使用函数line_profiler
  • -v:以立即将结果打印到屏幕

运行结果:

kernprof -l -v demo.py
Wrote profile results to demo.py.lprof
Timer unit: 1e-06 s

Total time: 1.00416 s
File: demo.py
Function: bubble_sort at line 18

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
    18                                           @profile
    19                                           def bubble_sort(arr):
    20                                               """
    21                                               冒泡排序: 对列表进行排序
    22                                               :param arr 列表
    23                                               """
    24         1          8.0      8.0      0.0      n = len(arr)
    25         1    1004030.0 1004030.0    100.0      sleep(1)
    26        11         15.0      1.4      0.0      for i in range(n):
    27        55         44.0      0.8      0.0          for j in range(0, n - i - 1):
    28        45         41.0      0.9      0.0              if arr[j] > arr[j + 1]:
    29        20         21.0      1.1      0.0                  arr[j], arr[j + 1] = arr[j + 1], arr[j]
    30         1          1.0      1.0      0.0      return arr

输出非常直观,分成了6列。

  • Line #:运行的代码行号。
  • Hits:代码行运行的次数。
  • Time:代码行的执行时间,单位为微秒。
  • Per Hit:Time/Hits。
  • % Time:代码行总执行时间所占的百分比。
  • Line Contents:代码行的内容。

只需查看% Time列,就可清楚地知道时间都花在了什么地方。

总结

性能测试分析站在项目层面是一个很庞大的话题,以前为测试工程师,关注的是性能工具的使用,以及用户维度的性能[1];作为开发工程师,每个功能都是由一个个函数/方法组成,我们去分析每个函数/方法,甚至是每行代码的耗时,才能更好的进行代码层面的性能优化。

以上就是python如何做代码性能分析的详细内容,更多关于python 代码性能分析的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python实现队列的方法
May 26 Python
深入解读Python解析XML的几种方式
Feb 16 Python
简单谈谈Python中的反转字符串问题
Oct 24 Python
pycharm远程调试openstack代码
Nov 21 Python
python 多线程中子线程和主线程相互通信方法
Nov 09 Python
python+flask实现API的方法
Nov 21 Python
Python装饰器用法实例分析
Jan 14 Python
Python获取Redis所有Key以及内容的方法
Feb 19 Python
python实现计数排序与桶排序实例代码
Mar 28 Python
GDAL 矢量属性数据修改方式(python)
Mar 10 Python
Python正则表达式高级使用方法汇总
Jun 18 Python
Python之基础函数案例详解
Aug 30 Python
Python字符串对齐方法使用(ljust()、rjust()和center())
Apr 26 #Python
python如何进行基准测试
Apr 26 #Python
python实现简单的名片管理系统
Python实战之实现康威生命游戏
Python 制作自动化翻译工具
教你用Python写一个植物大战僵尸小游戏
python爬取新闻门户网站的示例
Apr 25 #Python
You might like
提升PHP性能的21种方法介绍
2013/06/25 PHP
PHP 转义使用详解
2013/07/15 PHP
PhpStorm terminal无法输入命令的解决方法
2016/10/09 PHP
jquery的ajax()函数传值中文乱码解决方法介绍
2012/11/08 Javascript
解决Extjs 4 Panel作为Window组件的子组件时出现双重边框问题
2013/01/11 Javascript
基于jQuery Bar Indicator 插件实现进度条展示效果
2015/09/30 Javascript
jquery mobile 移动web(5)
2015/12/20 Javascript
jQuery遮罩层效果实例分析
2016/01/14 Javascript
jQuery设置聚焦并使光标位置在文字最后的实现方法
2016/08/02 Javascript
JS 在数组指定位置插入/删除数据的方法
2017/01/12 Javascript
JavaScript字符串检索字符的方法
2017/06/23 Javascript
React路由管理之React Router总结
2018/05/10 Javascript
axios对请求各种异常情况处理的封装方法
2018/09/25 Javascript
深入理解JavaScript 中的执行上下文和执行栈
2018/10/23 Javascript
WebSocket的简单介绍及应用
2019/05/23 Javascript
Vue.js路由实现选项卡简单实例
2019/07/24 Javascript
vue按需加载实例详解
2019/09/06 Javascript
Vue-router中hash模式与history模式的区别详解
2020/12/15 Vue.js
Python中分数的相关使用教程
2015/03/30 Python
部署Python的框架下的web app的详细教程
2015/04/30 Python
讲解Python中的标识运算符
2015/05/14 Python
python操作mongodb根据_id查询数据的实现方法
2015/05/20 Python
Python实现PS图像抽象画风效果的方法
2018/01/23 Python
python 把列表转化为字符串的方法
2018/10/23 Python
Python判断一个文件夹内哪些文件是图片的实例
2018/12/07 Python
Python将列表数据写入文件(txt, csv,excel)
2019/04/03 Python
Python日志打印里logging.getLogger源码分析详解
2021/01/17 Python
微信浏览器左上角返回按钮拦截功能
2017/11/21 HTML / CSS
Stella McCartney官网:成衣、包袋、香水、内衣、童装及Adidas系列
2018/12/20 全球购物
Farfetch澳大利亚官网:Farfetch Australia
2020/04/26 全球购物
What is the purpose of Void class? Void类的作用是什么?
2016/10/31 面试题
几个判断型的面试题
2012/07/03 面试题
学校校庆演讲稿
2014/05/22 职场文书
副主任竞聘演讲稿
2014/08/18 职场文书
励志演讲稿500字
2014/08/21 职场文书
2014年建筑工作总结
2014/11/26 职场文书