python一些性能分析的技巧


Posted in Python onAugust 30, 2020

当我们开始精通编程语言时,我们不仅希望实现最终目标,而且希望使我们的程序高效。

在这个教程中,我们将学习一些Ipython的命令,这些命令可以帮助我们对Python代码进行时间分析。

注意,在本教程中,我建议使用Anaconda。

1.分析一行代码

要检查一行python代码的执行时间,请使用 %timeit 。下面是一个简单的例子来了解它的工作原理:

#### magics命令%timeit的简单用法
%timeit [num for num in range(20)]

#### 输出
1.08 µs ± 43 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

主要注意事项:

  • 在要分析的代码行之前使用%timeit
  • 它返回代码运行的平均值和标准偏差。在上面的示例中,执行了7次,每次执行对该代码循环100万次(默认行为)。这需要平均1.08微秒和43纳秒的标准偏差。
  • 在调用magic命令时,可以自定义运行和循环的数量。示例如下:
#### 在%timeit magic命令中自定义运行和循环数
%timeit -r5 -n100 [num for num in range(20)]

1.01 µs ± 5.75 ns per loop (mean ± std. dev. of 5 runs, 100 loops each)

使用命令选项-r和-n,分别表示执行次数和循环次数,我们将时间配置文件操作定制为执行5次和循环100次。

2.分析多行代码

本节向前迈进了一步,并解释了如何分析完整的代码块。通过对%timeit magic命令进行一个小的修改,将单百分比(%)替换为双百分比(%%),就可以分析一个完整的代码块。以下为示例演示,供参考:

#### 使用timeblock%%代码分析
%%timeit -r5 -n1000
for i in range(10):
  n = i**2
  m = i**3
  o = abs(i)
  
#### 输出
10.5 µs ± 226 ns per loop (mean ± std. dev. of 5 runs, 1000 loops each)

可以观察到for循环的平均执行时间为10.5微秒。请注意,命令选项-r和-n分别用于控制执行次数和循环次数。

3.代码块中的每一行代码进行时间分析

到目前为止,我们只在分析一行代码或代码块时查看摘要统计信息。如果我们想评估代码块中每一行代码的性能呢?使用 Line_profiler 。

Line_profiler包可用于对任何函数执行逐行分析。要使用line_profiler软件包,请执行以下步骤:

安装— Line_profiler 包可以通过简单的调用pip或conda Install来安装。如果使用的是针对Python的anaconda发行版,建议使用conda安装

#### 安装line_profiler软件包
conda install line_profiler

加载扩展—一旦安装,你可以使用IPython来加载line_profiler:

#### 加载line_profiler的Ipython扩展
%load_ext line_profiler

时间分析函数—加载后,使用以下语法对任何预定义函数进行时间分析

%lprun -f function_name_only function_call_with_arguments

语法细节:

  • 对line_profiler的调用以关键字%lprun开始,后跟命令选项-f
  • 命令选项之后是函数名,然后是函数调用

在本练习中,我们将定义一个接受高度(以米为单位)和重量(以磅为单位)列表的函数,并将其分别转换为厘米和千克。

#### 定义函数
def conversion(ht_mtrs, wt_lbs ):
  ht_cms = [ht*100 for ht in ht_mtrs]
  wt_kgs = [wt*.4535 for wt in wt_lbs]
  
#### 定义高度和重量列表:
ht = [5,5,4,7,6]
wt = [108, 120, 110, 98]

#### 使用line_profiler分析函数
%lprun -f conversion conversion(ht,wt)

---------------------------------------------------------------
#### 输出
Total time: 1.46e-05 s

File: <ipython-input-13-41e195af43a9>

Function: conversion at line 2

Line #   Hits     Time Per Hit  % Time Line Contents
==============================================================
   2    1    105.0  105.0   71.9   ht_cms = [ht*100 for ht in ht_mtrs]
   3    1     41.0   41.0   28.1   wt_kgs = [wt*.4535 for wt in wt_lbs]

输出详细信息:

以14.6微秒为单位(参考第一行输出)

生成的表有6列:

  • 第1列(行#)—代码的行号(请注意,第#1行是故意从输出中省略的,因为它只是函数定义语句)
  • 第2列(命中)—调用该行的次数
  • 第3列(时间)—在代码行上花费的时间单位数(每个时间单位为14.6微秒)
  • 第4列(每次命中平均时间)—第3列除以第2列
  • 第5列(%Time)—在所花费的总时间中,花在特定代码行上的时间百分比是多少
  • 第6列(内容)—代码行的内容

你可以清楚地注意到,高度从米到厘米的转换几乎占了总时间的72%。

结束语

利用每一行代码的执行时间,我们可以部署策略来提高代码的效率。在接下来的3个教程中,我们将分享一些最佳实践来帮助你提高代码的效率。

我希望这篇教程能提供帮助,你能学到一些新东西。

以上就是python一些性能分析的技巧的详细内容,更多关于python 性能分析的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python字符串处理实例详解
May 18 Python
tensorflow使用range_input_producer多线程读取数据实例
Jan 20 Python
快速解决jupyter notebook启动需要密码的问题
Apr 21 Python
python学习将数据写入文件并保存方法
Jun 07 Python
详解PyQt5中textBrowser显示print语句输出的简单方法
Aug 07 Python
详解pandas赋值失败问题解决
Nov 29 Python
Django 权限管理(permissions)与用户组(group)详解
Nov 30 Python
python 监控服务器是否有人远程登录(详细思路+代码)
Dec 18 Python
pytorch 计算Parameter和FLOP的操作
Mar 04 Python
Python 如何安装Selenium
May 06 Python
OpenCV-Python使用cv2实现傅里叶变换
Jun 09 Python
Python3中PyQt5简单实现文件打开及保存
Jun 10 Python
python脚本第一行如何写
Aug 30 #Python
golang/python实现归并排序实例代码
Aug 30 #Python
python创建文本文件的简单方法
Aug 30 #Python
python 中的9个实用技巧,助你提高开发效率
Aug 30 #Python
Python Map 函数的使用
Aug 28 #Python
python实现单机五子棋
Aug 28 #Python
Python3+selenium配置常见报错解决方案
Aug 28 #Python
You might like
mysql+php分页类(已测)
2008/03/31 PHP
基于php使用memcache存储session的详解
2013/06/25 PHP
Laravel框架中Blade模板的用法示例
2017/08/30 PHP
LNMP部署laravel以及xhprof安装使用教程
2017/09/14 PHP
深入理解PHP的远程多会话调试
2017/09/21 PHP
PHPCrawl爬虫库实现抓取酷狗歌单的方法示例
2017/12/21 PHP
PHP中localeconv()函数的用法
2019/03/26 PHP
浅谈laravel orm 中的一对多关系 hasMany
2019/10/21 PHP
一个不错的用JavaScript实现的UBB编码函数
2007/03/09 Javascript
javascript 冒号 使用说明
2009/06/06 Javascript
Javascript this指针
2009/07/30 Javascript
解决表单中第一个非隐藏的元素获得焦点的一个方案
2009/10/26 Javascript
extjs每个组件要设置唯一的ID否则会出错
2014/06/15 Javascript
浅谈Javascript实现继承的方法
2015/07/06 Javascript
详解JavaScript中基于原型prototype的继承特性
2016/05/05 Javascript
关于Vue.js一些问题和思考学习笔记(1)
2016/12/02 Javascript
jQuery控制元素隐藏和显示
2017/03/03 Javascript
浅谈Angular6的服务和依赖注入
2018/06/27 Javascript
轻量级富文本编辑器wangEditor结合vue使用方法示例
2018/10/10 Javascript
Vue 报错TypeError: this.$set is not a function 的解决方法
2018/12/17 Javascript
[06:45]DOTA2卡尔工作室 英雄介绍幻影长矛手篇
2013/07/12 DOTA
python实现的登录和操作开心网脚本分享
2014/07/09 Python
Python设计模式之命令模式简单示例
2018/01/10 Python
Django中的Signal代码详解
2018/02/05 Python
python3下实现搜狗AI API的代码示例
2018/04/10 Python
pandas dataframe的合并实现(append, merge, concat)
2019/06/24 Python
Python 解决火狐浏览器不弹出下载框直接下载的问题
2020/03/09 Python
Canvas实现贝赛尔曲线轨迹动画的示例代码
2019/04/25 HTML / CSS
函授毕业个人自我评价
2014/02/20 职场文书
电子银行营销方案
2014/02/22 职场文书
小学班长竞选演讲稿
2014/04/24 职场文书
责任书范本
2014/08/25 职场文书
作文批改评语
2014/12/25 职场文书
一封真诚的自荐信帮你赢得机会
2019/05/07 职场文书
MySQL的存储函数与存储过程的区别解析
2022/04/08 MySQL
Android开发EditText禁止输入监听及InputFilter字符过滤
2022/06/10 Java/Android