10种检测Python程序运行时间、CPU和内存占用的方法


Posted in Python onApril 01, 2015

在运行复杂的Python程序时,执行时间会很长,这时也许想提高程序的执行效率。但该怎么做呢?

首先,要有个工具能够检测代码中的瓶颈,例如,找到哪一部分执行时间比较长。接着,就针对这一部分进行优化。

同时,还需要控制内存和CPU的使用,这样可以在另一方面优化代码。

因此,在这篇文章中我将介绍7个不同的Python工具,来检查代码中函数的执行时间以及内存和CPU的使用。
1. 使用装饰器来衡量函数执行时间

有一个简单方法,那就是定义一个装饰器来测量函数的执行时间,并输出结果:
 

import time
from functools import wraps
 
def fn_timer(function):
  @wraps(function)
  def function_timer(*args, **kwargs):
    t0 = time.time()
    result = function(*args, **kwargs)
    t1 = time.time()
    print ("Total time running %s: %s seconds" %
        (function.func_name, str(t1-t0))
        )
    return result
  return function_timer

接着,将这个装饰器添加到需要测量的函数之前,如下所示:
 

@fn_timer
def myfunction(...):
...

例如,这里检测一个函数排序含有200万个随机数字的数组所需的时间:
 

@fn_timer
def random_sort(n):
  return sorted([random.random() for i in range(n)])
 
if __name__ == "__main__":
  random_sort(2000000)

执行脚本时,会看到下面的结果:
 

Total time running random_sort: 1.41124916077 seconds

2. 使用timeit模块

另一种方法是使用timeit模块,用来计算平均时间消耗。

执行下面的脚本可以运行该模块。

python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"

这里的timing_functions是Python脚本文件名称。

在输出的末尾,可以看到以下结果:
 

4 loops, best of 5: 2.08 sec per loop

这表示测试了4次,平均每次测试重复5次,最好的测试结果是2.08秒。

如果不指定测试或重复次数,默认值为10次测试,每次重复5次。
3. 使用Unix系统中的time命令

然而,装饰器和timeit都是基于Python的。在外部环境测试Python时,unix time实用工具就非常有用。

运行time实用工具:
 

$ time -p python timing_functions.py

输出结果为:
 

Total time running random_sort: 1.3931210041 seconds
real 1.49
user 1.40
sys 0.08

第一行来自预定义的装饰器,其他三行为:

  •     real表示的是执行脚本的总时间
  •     user表示的是执行脚本消耗的CPU时间。
  •     sys表示的是执行内核函数消耗的时间。

注意:根据维基百科的定义,内核是一个计算机程序,用来管理软件的输入输出,并将其翻译成CPU和其他计算机中的电子设备能够执行的数据处理指令。

因此,Real执行时间和User+Sys执行时间的差就是消耗在输入/输出和系统执行其他任务时消耗的时间。
4. 使用cProfile模块

如果想知道每个函数和方法消耗了多少时间,以及这些函数被调用了多少次,可以使用cProfile模块。
 

$ python -m cProfile -s cumulative timing_functions.py

现在可以看到代码中函数的详细描述,其中含有每个函数调用的次数,由于使用了-s选项(累加),最终结果会根据每个函数的累计执行时间排序。

10种检测Python程序运行时间、CPU和内存占用的方法

读者会发现执行脚本所需的总时间比以前要多。这是由于测量每个函数的执行时间这个操作本身也是需要时间。
5. 使用line_profiler模块

line_profiler模块可以给出执行每行代码所需占用的CPU时间。

首先,安装该模块:
 

$ pip install line_profiler

接着,需要指定用@profile检测哪个函数(不需要在代码中用import导入模块):
 

@profile
def random_sort2(n):
  l = [random.random() for i in range(n)]
  l.sort()
  return l
 
if __name__ == "__main__":
  random_sort2(2000000)

最好,可以通过下面的命令获得关于random_sort2函数的逐行描述。
 

$ kernprof -l -v timing_functions.py

其中-l表示逐行解释,-v表示表示输出详细结果。通过这种方法,我们看到构建数组消耗了44%的计算时间,而sort()方法消耗了剩余的56%的时间。

10种检测Python程序运行时间、CPU和内存占用的方法

同样,由于需要检测执行时间,脚本的执行时间更长了。
6. 使用memory_profiler模块

memory_profiler模块用来基于逐行测量代码的内存使用。使用这个模块会让代码运行的更慢。

安装方法如下:

pip install memory_profiler

另外,建议安装psutil包,这样memory_profile会运行的快一点:
 

$ pip install psutil

与line_profiler相似,使用@profile装饰器来标识需要追踪的函数。接着,输入:
 

$ python -m memory_profiler timing_functions.py

脚本的执行时间比以前长1或2秒。如果没有安装psutil包,也许会更长。

10种检测Python程序运行时间、CPU和内存占用的方法

从结果可以看出,内存使用是以MiB为单位衡量的,表示的mebibyte(1MiB = 1.05MB)。
7. 使用guppy包

最后,通过这个包可以知道在代码执行的每个阶段中,每种类型(str、tuple、dict等)分别创建了多少对象。

安装方法如下:
 

$ pip install guppy

接着,将其添加到代码中:
 

from guppy import hpy
 
def random_sort3(n):
  hp = hpy()
  print "Heap at the beginning of the functionn", hp.heap()
  l = [random.random() for i in range(n)]
  l.sort()
  print "Heap at the end of the functionn", hp.heap()
  return l
 
if __name__ == "__main__":
  random_sort3(2000000)

运行代码:
 

$ python timing_functions.py

可以看到输出结果为:

10种检测Python程序运行时间、CPU和内存占用的方法

通过在代码中将heap()放置在不同的位置,可以了解到脚本中的对象创建和删除操作的流程。

如果想学习更多关于Python代码速度优化方面的知识,我建议你去读这本书《High Performance Python: Practical Performant Programming for Humans, september 2014.》

希望这篇文章能偶帮到你!^_^

Python 相关文章推荐
Python 常用 PEP8 编码规范详解
Jan 22 Python
python爬虫之百度API调用方法
Jun 11 Python
Django自定义分页效果
Jun 27 Python
基于并发服务器几种实现方法(总结)
Dec 29 Python
Go/Python/Erlang编程语言对比分析及示例代码
Apr 23 Python
Python高斯消除矩阵
Jan 02 Python
django的settings中设置中文支持的实现
Apr 28 Python
安装好Pycharm后如何配置Python解释器简易教程
Jun 28 Python
Python字典推导式将cookie字符串转化为字典解析
Aug 10 Python
对django layer弹窗组件的使用详解
Aug 31 Python
Numpy之reshape()使用详解
Dec 26 Python
Python3 + Appium + 安卓模拟器实现APP自动化测试并生成测试报告
Jan 27 Python
深入Python解释器理解Python中的字节码
Apr 01 #Python
Python中的defaultdict模块和namedtuple模块的简单入门指南
Apr 01 #Python
Python进行数据科学工作的简单入门教程
Apr 01 #Python
10个易被忽视但应掌握的Python基本用法
Apr 01 #Python
用Python制作检测Linux运行信息的工具的教程
Apr 01 #Python
用Python的pandas框架操作Excel文件中的数据教程
Mar 31 #Python
Python实现国外赌场热门游戏Craps(双骰子)
Mar 31 #Python
You might like
PHP入门速成教程
2007/03/19 PHP
PHP中开发XML应用程序之基础篇 添加节点 删除节点 查询节点 查询节
2010/07/09 PHP
Dojo Javascript 编程规范 规范自己的JavaScript书写
2014/10/26 Javascript
js 左右悬浮对联广告代码示例
2014/12/12 Javascript
创建、调用JavaScript对象的方法集锦
2014/12/24 Javascript
JQuery判断checkbox是否选中及其它复选框操作方法合集
2015/06/01 Javascript
jQuery封装的屏幕居中提示信息代码
2016/06/08 Javascript
基于bootstrap风格的弹框插件
2016/12/28 Javascript
无循环 JavaScript(map、reduce、filter和find)
2017/04/08 Javascript
Vue2递归组件实现树形菜单
2017/04/10 Javascript
Angular数据绑定机制原理
2018/04/17 Javascript
一个Vue页面的内存泄露分析详解
2018/06/25 Javascript
node.js使用redis储存session的方法
2018/09/26 Javascript
创建echart多个联动的示例代码
2018/11/23 Javascript
微信小程序—setTimeOut定时器的问题及解决
2019/07/26 Javascript
JS中FormData类实现文件上传
2020/03/27 Javascript
Node.JS如何实现JWT原理
2020/09/18 Javascript
Python在Console下显示文本进度条的方法
2016/02/14 Python
python虚拟环境virualenv的安装与使用
2016/12/18 Python
通过Python实现自动填写调查问卷
2017/09/06 Python
tensorflow 恢复指定层与不同层指定不同学习率的方法
2018/07/26 Python
详解Python中的type和object
2018/08/15 Python
python 通过麦克风录音 生成wav文件的方法
2019/01/09 Python
python实现简单日期工具类
2019/04/24 Python
Python 调用有道翻译接口实现翻译
2020/03/02 Python
python虚拟环境模块venv使用及示例
2020/03/04 Python
python matplotlib实现将图例放在图外
2020/04/17 Python
Python+Appium实现自动化清理微信僵尸好友的方法
2021/02/04 Python
CSS3 简写animation
2012/05/10 HTML / CSS
爱心捐款倡议书
2014/04/14 职场文书
廉洁校园实施方案
2014/05/25 职场文书
2014法院干警廉洁警示教育思想汇报
2014/09/13 职场文书
出国签证在职证明
2014/09/20 职场文书
2015年五一劳动节演讲稿
2015/03/18 职场文书
车辆挂靠协议书
2016/03/23 职场文书
十大必看国产动漫排名,魁拔上线,第二曾在日本播出
2022/03/18 国漫