python如何进行基准测试


Posted in Python onApril 26, 2021

基准测试属于性能测试的一种,用于评估和衡量软件的性能指标。我们可以在软件开发的某个阶段通过基准测试建立一个已知的性能水平,称为"基准线"。当系统的软硬件环境发生变化之后再进行一次基准测试以确定那些变化对性能的影响。 这是基准测试最常见的用途。

Donald Knuth在1974年出版的《Structured Programming with go to Statements》提到:

毫无疑问,对效率的片面追求会导致各种滥用。程序员会浪费大量的时间在非关键程序的速度上,实际上这些尝试提升效率的行为反倒可能产生很大的负面影响,特别是当调试和维护的时候。我们不应该过度纠结于细节的优化,应该说约97%的场景:过早的优化是万恶之源。
当然我们也不应该放弃对那关键3%的优化。一个好的程序员不会因为这个比例小就裹足不前,他们会明智地观察和识别哪些是关键的代码;但是仅当关键代码已经被确认的前提下才会进行优化。对于很多程序员来说,判断哪部分是关键的性能瓶颈,是很容易犯经验上的错误的,因此一般应该借助测量工具来证明。

虽然经常被解读为不需要关心性能,但是的少部分情况下(3%)应该观察和识别关键代码并进行优化。

基准(benchmarking)测试工具

python中提供了非常多的工具来进行基准测试。

为了使演示的例子稍微有趣,我们来随机生成一个列表,并对列表中数字进行排序。

import random


def random_list(start, end, length):
    """
    生成随机列表
    :param start: 随机开始数
    :param end: 随机结束数
    :param length: 列表长度
    """
    data_list = []
    for i in range(length):
        data_list.append(random.randint(start, end))
    return data_list


def bubble_sort(arr):
    """
    冒泡排序: 对列表进行排序
    :param arr 列表
    """
    n = len(arr)
    for i in range(n):
        for j in range(0, n - i - 1):
            if arr[j] > arr[j + 1]:
                arr[j], arr[j + 1] = arr[j + 1], arr[j]
    return arr


if __name__ == '__main__':
    get_data_list = random_list(1, 99, 10)
    ret = bubble_sort(get_data_list)
    print(ret)

运行结果如下:

❯ python .\demo.py
[8, 16, 22, 31, 42, 58, 66, 71, 73, 91]

timeit

timeit是python自带的模块,用来进行基准测试非常方便。

if __name__ == '__main__':
    import timeit
    get_data_list = random_list(1, 99, 10)
    setup = "from __main__ import bubble_sort"
    t = timeit.timeit(
        stmt="bubble_sort({})".format(get_data_list),
        setup=setup
        )
    print(t)

运行结果:

❯ python .\demo.py
5.4201355

以测试bubble_sort()函数为例。timeit.timeit() 参数说明。

  • stmt:需要测试的函数或语句,字符串形式.
  • setup: 运行的环境,本例子中表示if __name__ == '__main__':.
  • number: 执行的次数,省缺则默认是1000000次。所以你会看到运行bubble_sort() 耗时 5秒多。

pyperf

https://github.com/psf/pyperf

pyperf 的用法与timeit比较类似,但它提供了更丰富结果。(注:我完全是发现了这个库才学习基准测试的)

if __name__ == '__main__':
    get_data_list = random_list(1, 99, 10)

    import pyperf
    setup = "from __main__ import bubble_sort"
    runner = pyperf.Runner()
    runner.timeit(name="bubble sort",
                  stmt="bubble_sort({})".format(get_data_list),
                  setup=setup)

运行结果:

❯ python  .\demo.py -o bench.json
.....................
bubble sort: Mean +- std dev: 5.63 us +- 0.31 us

测试结果会写入bench.json 文件。可以使用pyperf stats命令分析测试结果。

❯ python -m pyperf stats bench.json
Total duration: 15.9 sec
Start date: 2021-04-02 00:17:18
End date: 2021-04-02 00:17:36
Raw value minimum: 162 ms
Raw value maximum: 210 ms

Number of calibration run: 1
Number of run with values: 20
Total number of run: 21

Number of warmup per run: 1
Number of value per run: 3
Loop iterations per value: 2^15
Total number of values: 60

Minimum:         4.94 us
Median +- MAD:   5.63 us +- 0.12 us
Mean +- std dev: 5.63 us +- 0.31 us
Maximum:         6.41 us

  0th percentile: 4.94 us (-12% of the mean) -- minimum
  5th percentile: 5.10 us (-9% of the mean)
 25th percentile: 5.52 us (-2% of the mean) -- Q1
 50th percentile: 5.63 us (+0% of the mean) -- median
 75th percentile: 5.81 us (+3% of the mean) -- Q3
 95th percentile: 5.95 us (+6% of the mean)
100th percentile: 6.41 us (+14% of the mean) -- maximum

Number of outlier (out of 5.07 us..6.25 us): 6

pytest-benchmark

https://github.com/ionelmc/pytest-benchmark

pytest-benchmark是 pytest单元测试框架的一个插件。 单独编写单元测试用例:

from demo import bubble_sort


def test_bubble_sort(benchmark):
    test_list = [5, 2, 4, 1, 3]
    result = benchmark(bubble_sort, test_list)
    assert result == [1, 2, 3, 4, 5]

需要注意:

  • 导入bubble_sort() 函数。
  • benchmark 作为钩子函数使用,不需要导入包。前提是你需要安装pytest和pytest-benchmark。
  • 为了方便断言,我们就把要排序的数固定下来了。

运行测试用例:

❯ pytest -q .\test_demo.py
.                                                                       [100%]

------------------------------------------------ benchmark: 1 tests -----------------------------------------------
Name (time in us)        Min       Max    Mean  StdDev  Median     IQR   Outliers  OPS (Kops/s)  Rounds  Iterations
-------------------------------------------------------------------------------------------------------------------
test_bubble_sort      1.6000  483.2000  1.7647  2.6667  1.7000  0.0000  174;36496      566.6715  181819           1
-------------------------------------------------------------------------------------------------------------------

Legend:
  Outliers: 1 Standard Deviation from Mean; 1.5 IQR (InterQuartile Range) from 1st Quartile and 3rd Quartile.
  OPS: Operations Per Second, computed as 1 / Mean
1 passed in 1.98s

加上 --benchmark-histogram 参数,你会得到一张图表

❯ pytest -q .\test_demo.py --benchmark-histogram
.                                                                                                                [100%]

------------------------------------------------ benchmark: 1 tests -----------------------------------------------
Name (time in us)        Min      Max    Mean  StdDev  Median     IQR    Outliers  OPS (Kops/s)  Rounds  Iterations
-------------------------------------------------------------------------------------------------------------------
test_bubble_sort      1.6000  53.9000  1.7333  0.3685  1.7000  0.0000  1640;37296      576.9264  178572           1
-------------------------------------------------------------------------------------------------------------------


Generated histogram: D:\github\test-circle\article\code\benchmark_20210401_165958.svg

图片如下:

python如何进行基准测试

关于基准测试的工具还有很多,这里就不再介绍了。

经过基准测试发现程序变慢了,那么接下来需要做的就是代码性能分析了,我下篇再来介绍。

以上就是python如何进行基准测试的详细内容,更多关于python 基准测试的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python之import机制详解
Jul 03 Python
python re正则表达式模块(Regular Expression)
Jul 16 Python
Python中的生成器和yield详细介绍
Jan 09 Python
在Python的web框架中中编写日志列表的教程
Apr 30 Python
深入探究Python中变量的拷贝和作用域问题
May 05 Python
解决Mac安装scrapy失败的问题
Jun 13 Python
django云端留言板实例详解
Jul 22 Python
python redis连接 有序集合去重的代码
Aug 04 Python
如何将 awk 脚本移植到 Python
Dec 09 Python
python使用pyecharts库画地图数据可视化的实现
Mar 25 Python
django Layui界面点击弹出对话框并请求逻辑生成分页的动态表格实例
May 12 Python
Python使用random模块实现掷骰子游戏的示例代码
Apr 29 Python
python实现简单的名片管理系统
Python实战之实现康威生命游戏
Python 制作自动化翻译工具
教你用Python写一个植物大战僵尸小游戏
python爬取新闻门户网站的示例
Apr 25 #Python
python自然语言处理之字典树知识总结
Python自然语言处理之切分算法详解
Apr 25 #Python
You might like
PHP性能优化准备篇图解PEAR安装
2011/12/05 PHP
PHP中的日期加减方法示例
2014/08/21 PHP
php实现多维数组中每个单元值(数字)翻倍的方法
2015/02/16 PHP
PHP使用CURL实现多线程抓取网页
2015/04/30 PHP
反射调用private方法实践(php、java)
2015/12/21 PHP
小程序微信支付功能配置方法示例详解【基于thinkPHP】
2019/05/05 PHP
总结一些js自定义的函数
2006/08/05 Javascript
再谈javascript 动态添加样式规则 W3C校检
2009/12/25 Javascript
javascript利用初始化数据装配模版的实现代码
2010/11/17 Javascript
javascript获取设置div的高度和宽度兼容任何浏览器
2013/09/22 Javascript
nodejs爬虫抓取数据乱码问题总结
2015/07/03 NodeJs
动态加载JavaScript文件的两种方法
2016/04/22 Javascript
JS实现touch 点击滑动轮播实例代码
2017/01/19 Javascript
self.attachevent is not a function的解决方法
2017/04/04 Javascript
Express框架之connect-flash详解
2017/05/31 Javascript
判断jQuery是否加载完成,没完成继续判断的解决方法
2017/12/06 jQuery
《javascript少儿编程》location术语总结
2018/05/27 Javascript
在NPM发布自己造的轮子的方法步骤
2019/03/09 Javascript
2019最新21个MySQL高频面试题介绍
2020/02/06 Javascript
解决Echarts2竖直datazoom滑动后显示数据不全的问题
2020/07/20 Javascript
vue3.0自定义指令(drectives)知识点总结
2020/12/27 Vue.js
python生成器generator用法实例分析
2015/06/04 Python
pycharm 将python文件打包为exe格式的方法
2019/01/16 Python
Python异步操作MySQL示例【使用aiomysql】
2019/05/16 Python
基于Django signals 信号作用及用法详解
2020/03/28 Python
Python Dict找出value大于某值或key大于某值的所有项方式
2020/06/05 Python
Keras 中Leaky ReLU等高级激活函数的用法
2020/07/05 Python
详解Django自定义图片和文件上传路径(upload_to)的2种方式
2020/12/01 Python
泰国第一的化妆品网站:Konvy
2018/02/25 全球购物
Lookfantastic希腊官网:英国知名美妆购物网站
2018/09/15 全球购物
与世界上最好的跑步专业品牌合作:Fleet Feet
2019/03/22 全球购物
在c#中using和new这两个关键字有什么意义
2013/05/19 面试题
村党支部对照检查材料思想汇报
2014/09/28 职场文书
小班下学期个人总结
2015/02/12 职场文书
2019毕业典礼主持词!
2019/07/05 职场文书
关于mysql中string和number的转换问题
2022/06/14 MySQL