如何使用Python标准库进行性能测试


Posted in Python onJune 25, 2019

Profile 和 cProfile

在 Python 标准库里面有两个模块可以用来做性能测试。

1. 一个是 Profile,它是一个纯 Python 的实现,所以会慢一些,如果你需要对模块进行拓展,那么这个模块比较合适。

2. 第二个是 cProfile,从名字就可以看出这是一个 C 语言的实现版,官方推荐在大多数情况下使用。
这两者的接口和数据的输出格式是完全一样的,你可以在这两者之间自由的切换,所以下面我们仅以 cProfile 为例进行介绍。

使用 cProfile 进行性能测试

在 cProfile 中,进行性能测试十分简单,只需调用 run 方法,并将需要测试的函数及参数传递给它即可,下面我们对fib(n) 进行性能测试。

import cProfile

def fib(n):
 if n == 0:
 return 0
 if n == 1:
 return 1
 return fib(n-1) + fib(n-2)

if __name__ == '__main__':
 cProfile.run('fib(30)')

性能测试的结果如下图

如何使用Python标准库进行性能测试

可以看到一共进行了 2692539 次函数调用,共耗时 0.815 秒。下面每一行对应于一个函数的调用情况,其中:

1. ncalls, 函数总共调用次数;
2. tottime, 这个函数调用总共花费时间;
3. percall, 每个调用的平均花费时间;
4. cumtime, 总共累计花费时间;
5. percall, 每个调用的平均累计时间;
6. filename:lineno(function), 对应函数信息。

所以从图中可以明显看到几乎的耗时都在fib上,而且函数调用数过多,这主要是因为函数是递归调用的,并且会产生很多冗余分支,所以程序需要进行优化。有两种方法进行改进,一是缓存fib(n)的信息,不需要每次都进行计算;二是将程序改为迭代式。

而对函数值进行缓存在 Python 3 里有一个简单的装饰器叫做lru_cache,可以自动的帮你缓存函数的值,而不需要自己手动存储。

import functools

@functools.lru_cache(maxsize=None)
def fib(n):
 if n == 0:
 return 0
 if n == 1:
 return 1
 return fib(n-1) + fib(n-2)

运行结果如下:

如何使用Python标准库进行性能测试

可以看到,fib 函数只调用了 31 次,几乎所有额外的调用都命中了缓存,远远小于前面的调用次数,运行时间也得到了相当明显的提升。同时使用下面的迭代版程序也运行得非常快,这里就不再展开。

def fib(n):
 prev, cur = 0, 1
 if n == 0:
 return prev
 if n == 1:
 return cur
 count = 1
 while count < n:
 count += 1
 prev, cur = cur, prev + cur
 return cur

除了前面提到的 run 方法外,还有一个叫做 runctx 的方法,允许提供一些上下文参数。例如前面的 cProfile.run('fib(30)') 可以改为cProfile.runctx('fib', globals(), {'n':30})最后的运行结果是相同的。

最后,除了直接打印到命令行的方式,run 和 runctx 可以通过第二个参数传递文件名的方式将输出结果写入文件。

使用 pstats 对显示进行控制

cProfile 虽然可以对程序进行简单的性能测试,但是当程序过大,调用函数很多的时候,就需要一些对测试结果进行过滤和排序的工具了,而 pstats 就是这样的一个工具。

# fib_profile.py
import cProfile
import pstats

for i in range(5):
 cProfile.run('fib(1000)', 'fib_profile_{}'.format(i))

stats = pstats.Stats('fib_profile_0')
for i in range(1, 5):
 stats.add('fib_profile_{}'.format(i))
stats.strip_dirs()
stats.sort_stats('cumulative')
stats.print_stats('fib')

上面的程序首先写入了多个测试结果,然后初始化了 stats,可以通过 stats 的 add 方法添加新的文件,pstats 会自动的将结果聚合起来;然后 strip_dirs 将会移除文件名前面的路径,只保留文件名;sort_stats 是对输出结果进行排序,也就是在前面所说的那几行里进行选择(具体的可参阅官方文档);最后的 print_stats 对结果进行输出,在这面可以对行进行过滤,比如上面的程序就只输出了包含 fib 的行;实际输出结果如下。

如何使用Python标准库进行性能测试

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
举例讲解Python设计模式编程中对抽象工厂模式的运用
Mar 02 Python
python利用高阶函数实现剪枝函数
Mar 20 Python
pandas 使用apply同时处理两列数据的方法
Apr 20 Python
Python实现确认字符串是否包含指定字符串的实例
May 02 Python
Python基于百度云文字识别API
Dec 13 Python
Python 中包/模块的 `import` 操作代码
Apr 22 Python
python实现桌面气泡提示功能
Jul 29 Python
Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现
Aug 13 Python
Python进程间通信 multiProcessing Queue队列实现详解
Sep 23 Python
Python 格式化打印json数据方法(展开状态)
Feb 27 Python
Python批量处理csv并保存过程解析
May 16 Python
浅谈keras保存模型中的save()和save_weights()区别
May 21 Python
python绘制评估优化算法性能的测试函数
Jun 25 #Python
Python基于机器学习方法实现的电影推荐系统实例详解
Jun 25 #Python
Python 中的参数传递、返回值、浅拷贝、深拷贝
Jun 25 #Python
pyqt5 删除layout中的所有widget方法
Jun 25 #Python
在Python中表示一个对象的方法
Jun 25 #Python
Python设置matplotlib.plot的坐标轴刻度间隔以及刻度范围
Jun 25 #Python
浅谈PyQt5 的帮助文档查找方法,可以查看每个类的方法
Jun 25 #Python
You might like
php实现ping
2006/10/09 PHP
使用Sphinx对索引进行搜索
2013/06/25 PHP
ThinkPHP的SAE开发相关注意事项详解
2016/10/09 PHP
ie和firefox中img对象区别的困惑
2006/12/27 Javascript
让人印象深刻的10个jQuery手风琴效果应用
2012/05/08 Javascript
Extjs中RowExpander控件的默认展开问题示例探讨
2014/01/24 Javascript
Jquery Post处理后不进入回调的原因及解决方法
2014/07/15 Javascript
AngularJS中$interval的用法详解
2016/02/02 Javascript
原生JavaScript实现Tooltip浮动提示框特效
2017/03/07 Javascript
Bootstrap多级菜单的实现代码
2017/05/23 Javascript
bootstrap与pagehelper实现分页效果
2018/12/29 Javascript
使用vue自定义指令开发表单验证插件validate.js
2019/05/23 Javascript
echarts大屏字体自适应的方法步骤
2019/07/12 Javascript
layui前端时间戳转化实例
2019/11/15 Javascript
Vue3不支持Filters过滤器的问题
2020/09/24 Javascript
[56:46]Liquid vs IG 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/18 DOTA
通过mod_python配置运行在Apache上的Django框架
2015/07/22 Python
Python读写txt文本文件的操作方法全解析
2016/06/26 Python
Python进阶篇之字典操作总结
2016/11/16 Python
Python中的heapq模块源码详析
2019/01/08 Python
Python封装成可带参数的EXE安装包实例
2019/08/24 Python
python脚本监控logstash进程并邮件告警实例
2020/04/28 Python
windows10 pycharm下安装pyltp库和加载模型实现语义角色标注的示例代码
2020/05/07 Python
python中通过pip安装库文件时出现“EnvironmentError: [WinError 5] 拒绝访问”的问题及解决方案
2020/08/11 Python
如何利用python生成MD5并去重
2020/12/07 Python
关于HTML5 Placeholder新标签低版本浏览器下不兼容的问题分析及解决办法
2016/01/27 HTML / CSS
详解Canvas 跨域脱坑实践
2018/11/07 HTML / CSS
YSL圣罗兰美妆美国官网:Yves Saint Lauret US
2016/11/21 全球购物
消防先进事迹材料
2014/02/10 职场文书
大学社团活动总结
2014/04/26 职场文书
法律系毕业生求职信
2014/05/28 职场文书
小学生感恩老师演讲稿
2014/08/28 职场文书
财政局党的群众路线教育实践活动剖析材料
2014/10/13 职场文书
2015元旦标语横幅
2014/12/09 职场文书
Redis 持久化 RDB 与 AOF的执行过程
2021/11/07 Redis
python 学习GCN图卷积神经网络
2022/05/11 Python