python 性能优化方法小结


Posted in Python onMarch 31, 2017

提高性能有如下方法

1、Cython,用于合并python和c语言静态编译泛型

2、IPython.parallel,用于在本地或者集群上并行执行代码

3、numexpr,用于快速数值运算

4、multiprocessing,python内建的并行处理模块

5、Numba,用于为cpu动态编译python代码

6、NumbaPro,用于为多核cpu和gpu动态编译python代码

为了验证相同算法在上面不同实现上的的性能差异,我们先定义一个测试性能的函数

def perf_comp_data(func_list, data_list, rep=3, number=1): 
  '''Function to compare the performance of different functions. 
  Parameters 
  func_list : list 
  list with function names as strings

  data_list : list 
  list with data set names as strings 

  rep : int 
  number of repetitions of the whole comparison 
  number : int 
  number ofexecutions for every function 
  '''
  from timeit import repeat 
  res_list = {} 
  for name in enumerate(func_list): 
    stmt = name[1] + '(' + data_list[name[0]] + ')' 
    setup = "from __main__ import " + name[1] + ','+ data_list[name[0]] 
    results = repeat(stmt=stmt, setup=setup, repeat=rep, number=number) 
    res_list[name[1]] = sum(results) / rep
  res_sort = sorted(res_list.items(), key = lambda item : item[1])
  for item in res_sort: 
    rel = item[1] / res_sort[0][1]
    print ('function: ' + item[0] + ', av. time sec: %9.5f,  ' % item[1] + 'relative: %6.1f' % rel)

定义执行的算法如下

from math import * 
def f(x): 
  return abs(cos(x)) ** 0.5 + sin(2 + 3 * x)

对应的数学公式是

python 性能优化方法小结

生成数据如下

i=500000
a_py = range(i)

第一个实现f1是在内部循环执行f函数,然后将每次的计算结果添加到列表中,实现如下

def f1(a): 
  res = [] 
  for x in a: 
    res.append(f(x)) 
  return res

当然实现这种方案的方法不止一种,可以使用迭代器或eval函数,我自己加入了使用生成器和map方法的测试,发现结果有明显差距,不知道是否科学:

迭代器实现

def f2(a): 
  return [f(x) for x in a]

eval实现

def f3(a): 
  ex = 'abs(cos(x)) **0.5+ sin(2 + 3 * x)' 
  return [eval(ex) for x in a]

生成器实现

def f7(a): 
  return (f(x) for x in a)

map实现

def f8(a): 
  return map(f, a)

接下来是使用numpy的narray结构的几种实现

import numpy as np 
a_np = np.arange(i) 

def f4(a): 
  return (np.abs(np.cos(a)) ** 0.5 + np.sin(2 + 3 * a))

import numexpr as ne

def f5(a): 
  ex = 'abs(cos(a)) ** 0.5 + sin( 2 + 3 * a)' 
  ne.set_num_threads(1) 
  return ne.evaluate(ex)

def f6(a): 
  ex = 'abs(cos(a)) ** 0.5 + sin(2 + 3 * a)' 
  ne.set_num_threads(2) 
  return ne.evaluate(ex)

上面的f5和f6只是使用的处理器个数不同,可以根据自己电脑cpu的数目进行修改,也不是越大越好

下面进行测试

func_list = ['f1', 'f2', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8'] 
data_list = ['a_py', 'a_py', 'a_py', 'a_np', 'a_np', 'a_np', 'a_py', 'a_py']
perf_comp_data(func_list, data_list)

测试结果如下

function: f8, av. time sec:  0.00000,  relative:  1.0
function: f7, av. time sec:  0.00001,  relative:  1.7
function: f6, av. time sec:  0.03787,  relative: 11982.7
function: f5, av. time sec:  0.05838,  relative: 18472.4
function: f4, av. time sec:  0.09711,  relative: 30726.8
function: f2, av. time sec:  0.82343,  relative: 260537.0
function: f1, av. time sec:  0.92557,  relative: 292855.2
function: f3, av. time sec: 32.80889,  relative: 10380938.6

发现f8的时间最短,调大一下时间精度再测一次

function: f8, av. time sec: 0.000002483,  relative:  1.0
function: f7, av. time sec: 0.000004741,  relative:  1.9
function: f5, av. time sec: 0.028068110,  relative: 11303.0
function: f6, av. time sec: 0.031389788,  relative: 12640.6
function: f4, av. time sec: 0.053619114,  relative: 21592.4
function: f1, av. time sec: 0.852619225,  relative: 343348.7
function: f2, av. time sec: 1.009691877,  relative: 406601.7
function: f3, av. time sec: 26.035869787,  relative: 10484613.6

发现使用map的性能最高,生成器次之,其他方法的性能就差的很远了。但是使用narray数据的在一个数量级,使用python的list数据又在一个数量级。生成器的原理是并没有生成一个完整的列表,而是在内部维护一个next函数,通过一边循环迭代一遍生成下个元素的方法的实现的,所以他既不用在执行时遍历整个循环,也不用分配整个空间,它花费的时间和空间跟列表的大小是没有关系的,map与之类似,而其他实现都是跟列表大小有关系的。

内存布局

numpy的ndarray构造函数形式为

np.zeros(shape, dtype=float, order='C')

np.array(object, dtype=None, copy=True, order=None, subok=False, ndmin=0)

shape或object定义了数组的大小或是引用了另一个一个数组

dtype用于定于元素的数据类型,可以是int8,int32,float8,float64等等

order定义了元素在内存中的存储顺序,c表示行优先,F表示列优先

下面来比较一下内存布局在数组很大时的差异,先构造同样的的基于C和基于F的数组,代码如下:

x = np.random.standard_normal(( 3, 1500000))
c = np.array(x, order='C') 
f = np.array(x, order='F')

下面来测试性能

%timeit c.sum(axis=0)
%timeit c.std(axis=0)
%timeit f.sum(axis=0)
%timeit f.std(axis=0)
%timeit c.sum(axis=1)
%timeit c.std(axis=1)
%timeit f.sum(axis=1)
%timeit f.std(axis=1)

输出如下

loops, best of 3: 12.1 ms per loop
loops, best of 3: 83.3 ms per loop
loops, best of 3: 70.2 ms per loop
loop, best of 3: 235 ms per loop
loops, best of 3: 7.11 ms per loop
loops, best of 3: 37.2 ms per loop
loops, best of 3: 54.7 ms per loop
loops, best of 3: 193 ms per loop

可知,C内存布局要优于F内存布局

并行计算

未完,待续。。。

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,同时也希望多多支持三水点靠木!

Python 相关文章推荐
Python和Ruby中each循环引用变量问题(一个隐秘BUG?)
Jun 04 Python
Python写的服务监控程序实例
Jan 31 Python
Python中设置变量访问权限的方法
Apr 27 Python
通过python+selenium3实现浏览器刷简书文章阅读量
Dec 26 Python
解决Python selenium get页面很慢时的问题
Jan 30 Python
如何使用python进行pdf文件分割
Nov 11 Python
Pytorch实现基于CharRNN的文本分类与生成示例
Jan 08 Python
Python使用GitPython操作Git版本库的方法
Feb 29 Python
Python转换字典成为对象,可以用"."方式访问对象属性实例
May 11 Python
Django中F函数的使用示例代码详解
Jul 06 Python
Selenium Webdriver元素定位的八种常用方式(小结)
Jan 13 Python
python 实现mysql自动增删分区的方法
Apr 01 Python
Python+Selenium自动化实现分页(pagination)处理
Mar 31 #Python
pygame加载中文名mp3文件出现error
Mar 31 #Python
Python自动发邮件脚本
Mar 31 #Python
Python中查看文件名和文件路径
Mar 31 #Python
使用python遍历指定城市的一周气温
Mar 31 #Python
python网络编程调用recv函数完整接收数据的三种方法
Mar 31 #Python
Python爬取网易云音乐热门评论
Mar 31 #Python
You might like
几个php应用技巧
2008/03/27 PHP
php 全文搜索和替换的实现代码
2008/07/29 PHP
php提交表单时判断 if($_POST[submit])与 if(isset($_POST[submit])) 的区别
2011/02/08 PHP
fleaphp rolesNameField bug解决方法
2011/04/23 PHP
yii2 数据库读写分离配置示例
2017/02/10 PHP
thinkPHP5.1框架使用SemanticUI实现分页功能示例
2019/08/03 PHP
php实现的表单验证类完整示例
2019/08/13 PHP
JS 判断undefined的实现代码
2009/11/26 Javascript
JavaScript Timer实现代码
2010/02/17 Javascript
javascript实现的使用方向键控制光标在table单元格中切换
2010/11/17 Javascript
jQuery EasyUI API 中文文档 - NumberBox数字框
2011/10/13 Javascript
jquery二级导航内容均分的原理及实现
2013/08/13 Javascript
jquery基础教程之deferred对象使用方法
2014/01/22 Javascript
常见的原始JS选择器使用方法总结
2014/04/09 Javascript
js实现的奥运倒计时时钟效果代码
2015/12/09 Javascript
Bootstrap实现下拉菜单效果
2016/04/29 Javascript
jQuery自制提示框tooltip改进版
2016/08/01 Javascript
Angular2学习笔记——详解路由器模型(Router)
2016/12/02 Javascript
详解nodejs中exports和module.exports的区别
2017/02/17 NodeJs
jquery实现联想词搜索框和搜索结果分页的示例
2018/10/10 jQuery
Jquery cookie插件实现原理代码解析
2020/08/04 jQuery
介绍Python的@property装饰器的用法
2015/04/28 Python
python使用PIL给图片添加文字生成海报示例
2018/08/17 Python
python设定并获取socket超时时间的方法
2019/01/12 Python
对Python3 * 和 ** 运算符详解
2019/02/16 Python
Python @property使用方法解析
2019/09/17 Python
python实现的登录与提交表单数据功能示例
2019/09/25 Python
python两种获取剪贴板内容的方法
2020/11/06 Python
Python爬虫Scrapy框架CrawlSpider原理及使用案例
2020/11/20 Python
英国当代时尚和街头服饰店:18montrose
2018/12/15 全球购物
Java的类与C++的类有什么不同
2014/01/18 面试题
招商引资工作汇报材料
2014/10/28 职场文书
音乐教师个人工作总结
2015/02/06 职场文书
员工保密协议范本,您一定得收藏!很有用!
2019/08/08 职场文书
MySQL数据库压缩版本安装与配置详细教程
2021/05/21 MySQL
浅谈Vue的computed计算属性
2022/03/21 Vue.js