python 性能优化方法小结


Posted in Python onMarch 31, 2017

提高性能有如下方法

1、Cython,用于合并python和c语言静态编译泛型

2、IPython.parallel,用于在本地或者集群上并行执行代码

3、numexpr,用于快速数值运算

4、multiprocessing,python内建的并行处理模块

5、Numba,用于为cpu动态编译python代码

6、NumbaPro,用于为多核cpu和gpu动态编译python代码

为了验证相同算法在上面不同实现上的的性能差异,我们先定义一个测试性能的函数

def perf_comp_data(func_list, data_list, rep=3, number=1): 
  '''Function to compare the performance of different functions. 
  Parameters 
  func_list : list 
  list with function names as strings

  data_list : list 
  list with data set names as strings 

  rep : int 
  number of repetitions of the whole comparison 
  number : int 
  number ofexecutions for every function 
  '''
  from timeit import repeat 
  res_list = {} 
  for name in enumerate(func_list): 
    stmt = name[1] + '(' + data_list[name[0]] + ')' 
    setup = "from __main__ import " + name[1] + ','+ data_list[name[0]] 
    results = repeat(stmt=stmt, setup=setup, repeat=rep, number=number) 
    res_list[name[1]] = sum(results) / rep
  res_sort = sorted(res_list.items(), key = lambda item : item[1])
  for item in res_sort: 
    rel = item[1] / res_sort[0][1]
    print ('function: ' + item[0] + ', av. time sec: %9.5f,  ' % item[1] + 'relative: %6.1f' % rel)

定义执行的算法如下

from math import * 
def f(x): 
  return abs(cos(x)) ** 0.5 + sin(2 + 3 * x)

对应的数学公式是

python 性能优化方法小结

生成数据如下

i=500000
a_py = range(i)

第一个实现f1是在内部循环执行f函数,然后将每次的计算结果添加到列表中,实现如下

def f1(a): 
  res = [] 
  for x in a: 
    res.append(f(x)) 
  return res

当然实现这种方案的方法不止一种,可以使用迭代器或eval函数,我自己加入了使用生成器和map方法的测试,发现结果有明显差距,不知道是否科学:

迭代器实现

def f2(a): 
  return [f(x) for x in a]

eval实现

def f3(a): 
  ex = 'abs(cos(x)) **0.5+ sin(2 + 3 * x)' 
  return [eval(ex) for x in a]

生成器实现

def f7(a): 
  return (f(x) for x in a)

map实现

def f8(a): 
  return map(f, a)

接下来是使用numpy的narray结构的几种实现

import numpy as np 
a_np = np.arange(i) 

def f4(a): 
  return (np.abs(np.cos(a)) ** 0.5 + np.sin(2 + 3 * a))

import numexpr as ne

def f5(a): 
  ex = 'abs(cos(a)) ** 0.5 + sin( 2 + 3 * a)' 
  ne.set_num_threads(1) 
  return ne.evaluate(ex)

def f6(a): 
  ex = 'abs(cos(a)) ** 0.5 + sin(2 + 3 * a)' 
  ne.set_num_threads(2) 
  return ne.evaluate(ex)

上面的f5和f6只是使用的处理器个数不同,可以根据自己电脑cpu的数目进行修改,也不是越大越好

下面进行测试

func_list = ['f1', 'f2', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8'] 
data_list = ['a_py', 'a_py', 'a_py', 'a_np', 'a_np', 'a_np', 'a_py', 'a_py']
perf_comp_data(func_list, data_list)

测试结果如下

function: f8, av. time sec:  0.00000,  relative:  1.0
function: f7, av. time sec:  0.00001,  relative:  1.7
function: f6, av. time sec:  0.03787,  relative: 11982.7
function: f5, av. time sec:  0.05838,  relative: 18472.4
function: f4, av. time sec:  0.09711,  relative: 30726.8
function: f2, av. time sec:  0.82343,  relative: 260537.0
function: f1, av. time sec:  0.92557,  relative: 292855.2
function: f3, av. time sec: 32.80889,  relative: 10380938.6

发现f8的时间最短,调大一下时间精度再测一次

function: f8, av. time sec: 0.000002483,  relative:  1.0
function: f7, av. time sec: 0.000004741,  relative:  1.9
function: f5, av. time sec: 0.028068110,  relative: 11303.0
function: f6, av. time sec: 0.031389788,  relative: 12640.6
function: f4, av. time sec: 0.053619114,  relative: 21592.4
function: f1, av. time sec: 0.852619225,  relative: 343348.7
function: f2, av. time sec: 1.009691877,  relative: 406601.7
function: f3, av. time sec: 26.035869787,  relative: 10484613.6

发现使用map的性能最高,生成器次之,其他方法的性能就差的很远了。但是使用narray数据的在一个数量级,使用python的list数据又在一个数量级。生成器的原理是并没有生成一个完整的列表,而是在内部维护一个next函数,通过一边循环迭代一遍生成下个元素的方法的实现的,所以他既不用在执行时遍历整个循环,也不用分配整个空间,它花费的时间和空间跟列表的大小是没有关系的,map与之类似,而其他实现都是跟列表大小有关系的。

内存布局

numpy的ndarray构造函数形式为

np.zeros(shape, dtype=float, order='C')

np.array(object, dtype=None, copy=True, order=None, subok=False, ndmin=0)

shape或object定义了数组的大小或是引用了另一个一个数组

dtype用于定于元素的数据类型,可以是int8,int32,float8,float64等等

order定义了元素在内存中的存储顺序,c表示行优先,F表示列优先

下面来比较一下内存布局在数组很大时的差异,先构造同样的的基于C和基于F的数组,代码如下:

x = np.random.standard_normal(( 3, 1500000))
c = np.array(x, order='C') 
f = np.array(x, order='F')

下面来测试性能

%timeit c.sum(axis=0)
%timeit c.std(axis=0)
%timeit f.sum(axis=0)
%timeit f.std(axis=0)
%timeit c.sum(axis=1)
%timeit c.std(axis=1)
%timeit f.sum(axis=1)
%timeit f.std(axis=1)

输出如下

loops, best of 3: 12.1 ms per loop
loops, best of 3: 83.3 ms per loop
loops, best of 3: 70.2 ms per loop
loop, best of 3: 235 ms per loop
loops, best of 3: 7.11 ms per loop
loops, best of 3: 37.2 ms per loop
loops, best of 3: 54.7 ms per loop
loops, best of 3: 193 ms per loop

可知,C内存布局要优于F内存布局

并行计算

未完,待续。。。

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,同时也希望多多支持三水点靠木!

Python 相关文章推荐
Python常见文件操作的函数示例代码
Nov 15 Python
python合并文本文件示例
Feb 07 Python
python中实现迭代器(iterator)的方法示例
Jan 19 Python
python opencv人脸检测提取及保存方法
Aug 03 Python
Django中日期处理注意事项与自定义时间格式转换详解
Aug 06 Python
django框架自定义用户表操作示例
Aug 07 Python
python dataframe向下向上填充,fillna和ffill的方法
Nov 28 Python
解决sublime+python3无法输出中文的问题
Dec 12 Python
关于win10在tensorflow的安装及在pycharm中运行步骤详解
Mar 16 Python
pyqt5中动画的使用详解
Apr 01 Python
Pandas缺失值2种处理方式代码实例
Jun 13 Python
利用django创建一个简易的博客网站的示例
Sep 29 Python
Python+Selenium自动化实现分页(pagination)处理
Mar 31 #Python
pygame加载中文名mp3文件出现error
Mar 31 #Python
Python自动发邮件脚本
Mar 31 #Python
Python中查看文件名和文件路径
Mar 31 #Python
使用python遍历指定城市的一周气温
Mar 31 #Python
python网络编程调用recv函数完整接收数据的三种方法
Mar 31 #Python
Python爬取网易云音乐热门评论
Mar 31 #Python
You might like
德生PL990的分析评价
2021/03/02 无线电
遍历指定目录下的所有目录和文件的php代码
2011/11/27 PHP
php把数据表导出为Excel表的最简单、最快的方法(不用插件)
2014/05/10 PHP
ThinkPHP实现带验证码的文件上传功能实例
2014/11/01 PHP
PHP单例模式数据库连接类与页面静态化实现方法
2019/03/20 PHP
网站如何做到完全不需要jQuery也可以满足简单需求
2013/06/27 Javascript
javascript获取web应用根目录的方法
2014/02/12 Javascript
Js冒泡事件详解及阻止示例
2014/03/21 Javascript
jquery通过ajax加载一段文本内容的方法
2015/01/15 Javascript
js中的关联数组与普通数组详解
2016/07/27 Javascript
利用forever和pm2部署node.js项目过程
2017/05/10 Javascript
vue页面使用阿里oss上传功能的实例(一)
2017/08/09 Javascript
AngularJS遍历获取数组元素的方法示例
2017/11/11 Javascript
详解原生JS回到顶部
2019/03/25 Javascript
node.js基于socket.io快速实现一个实时通讯应用
2019/04/23 Javascript
在vue中使用防抖和节流,防止重复点击或重复上拉加载实例
2019/11/13 Javascript
微信小程序 button样式设置为图片的方法
2020/06/19 Javascript
React实现全选功能
2020/08/25 Javascript
[23:18]Spirit vs Liquid Supermajor小组赛A组 BO3 第二场 6.2
2018/06/03 DOTA
Python函数式编程指南(一):函数式编程概述
2015/06/24 Python
Unicode和Python的中文处理
2017/03/19 Python
python 简单的绘图工具turtle使用详解
2017/06/21 Python
python根据时间获取周数代码实例
2019/09/30 Python
Pytorch中的VGG实现修改最后一层FC
2020/01/15 Python
Python列表解析操作实例总结
2020/02/26 Python
从0到1使用python开发一个半自动答题小程序的实现
2020/05/12 Python
Django 实现 Websocket 广播、点对点发送消息的代码
2020/06/03 Python
python 提高开发效率的5个小技巧
2020/10/19 Python
阿迪达斯意大利在线商店:adidas意大利
2016/09/19 全球购物
跟单文员的岗位职责
2013/11/14 职场文书
个人函授自我鉴定
2014/03/25 职场文书
实习报告评语
2014/04/26 职场文书
工地标语大全
2014/06/18 职场文书
关于空气污染危害的感想
2015/08/11 职场文书
2015新员工工作总结范文
2015/10/15 职场文书
创业计划书之蛋糕店
2019/08/29 职场文书