几个提升Python运行效率的方法之间的对比


Posted in Python onApril 03, 2015

在我看来,python社区分为了三个流派,分别是python 2.x组织,3.x组织和PyPy组织。这个分类基本上可以归根于类库的兼容性和速度。这篇文章将聚焦于一些通用代码的优化技巧以及编译成C后性能的显著提升,当然我也会给出三大主要python流派运行时间。我的目的不是为了证明一个比另一个强,只是为了让你知道如何在不同的环境下使用这些具体例子作比较。

使用生成器

一个普遍被忽略的内存优化是生成器的使用。生成器让我们创建一个函数一次只返回一条记录,而不是一次返回所有的记录,如果你正在使用python2.x,这就是你为啥使用xrange替代range或者使用ifilter替代filter的原因。一个很好地例子就是创建一个很大的列表并将它们拼合在一起。

import timeit
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1
 
def create_list(num):
numbers = []
while num:
numbers.append(random.randrange(10))
num -= 1
return numbers
print(timeit.timeit("sum(generate(999))", setup="from __main__ import generate", number=1000))
>>> 0.88098192215 #Python 2.7
>>> 1.416813850402832 #Python 3.2
print(timeit.timeit("sum(create_list(999))", setup="from __main__ import create_list", number=1000))
>>> 0.924163103104 #Python 2.7
>>> 1.5026731491088867 #Python 3.2

这不仅是快了一点,也避免了你在内存中存储全部的列表!

Ctypes的介绍

对于关键性的性能代码python本身也提供给我们一个API来调用C方法,主要通过 ctypes来实现,你可以不写任何C代码来利用ctypes。默认情况下python提供了预编译的标准c库,我们再回到生成器的例子,看看使用ctypes实现花费多少时间。
 

import timeit
from ctypes import cdll
 
def generate_c(num):
#Load standard C library
libc = cdll.LoadLibrary("libc.so.6") #Linux
#libc = cdll.msvcrt #Windows
while num:
yield libc.rand() % 10
num -= 1
 
print(timeit.timeit("sum(generate_c(999))", setup="from __main__ import generate_c", number=1000))
>>> 0.434374809265 #Python 2.7
>>> 0.7084300518035889 #Python 3.2

仅仅换成了c的随机函数,运行时间减了大半!现在如果我告诉你我们还能做得更好,你信吗?

Cython的介绍

Cython 是python的一个超集,允许我们调用C函数以及声明变量来提高性能。尝试使用之前我们需要先安装Cython.
 

sudo pip install cython

Cython 本质上是另一个不再开发的类似类库Pyrex的分支,它将我们的类Python代码编译成C库,我们可以在一个python文件中调用。对于你的python文件使用.pyx后缀替代.py后缀,让我们看一下使用Cython如何来运行我们的生成器代码。
 

#cython_generator.pyx
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1

我们需要创建个setup.py以便我们能获取到Cython来编译我们的函数。
 

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
 
setup(
cmdclass = {'build_ext': build_ext},
ext_modules = [Extension("generator", ["cython_generator.pyx"])]
)

编译使用:
 

python setup.py build_ext --inplace
你应该可以看到两个文件cython_generator.c 文件 和 generator.so文件,我们使用下面方法测试我们的程序:
 
import timeit
print(timeit.timeit("sum(generator.generate(999))", setup="import generator", number=1000))
>>> 0.835658073425

还不赖,让我们看看是否还有可以改进的地方。我们可以先声明“num”为整形,接着我们可以导入标准的C库来负责我们的随机函数。
 

#cython_generator.pyx
cdef extern from "stdlib.h":
int c_libc_rand "rand"()
 
def generate(int num):
while num:
yield c_libc_rand() % 10
num -= 1

如果我们再次编译运行我们会看到这一串惊人的数字。
 

>>> 0.033586025238

仅仅的几个改变带来了不赖的结果。然而,有时这个改变很乏味,因此让我们来看看如何使用规则的python来实现吧。
PyPy的介绍

PyPy 是一个Python2.7.3的即时编译器,通俗地说这意味着让你的代码运行的更快。Quora在生产环境中使用了PyPy。PyPy在它们的下载页面有一些安装说明,但是如果你使用的Ubuntu系统,你可以通过apt-get来安装。它的运行方式是立即可用的,因此没有疯狂的bash或者运行脚本,只需下载然后运行即可。让我们看看我们原始的生成器代码在PyPy下的性能如何。
 

import timeit
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1
 
def create_list(num):
numbers = []
while num:
numbers.append(random.randrange(10))
num -= 1
return numbers
print(timeit.timeit("sum(generate(999))", setup="from __main__ import generate", number=1000))
>>> 0.115154981613 #PyPy 1.9
>>> 0.118431091309 #PyPy 2.0b1
print(timeit.timeit("sum(create_list(999))", setup="from __main__ import create_list", number=1000))
>>> 0.140175104141 #PyPy 1.9
>>> 0.140514850616 #PyPy 2.0b1

哇!没有修改一行代码运行速度是纯python实现的8倍。

进一步测试为什么还要进一步研究?PyPy是冠军!并不全对。虽然大多数程序可以运行在PyPy上,但是还是有一些库没有被完全支持。而且,为你的项目写C的扩展相比换一个编译器更加容易。让我们更加深入一些,看看ctypes如何让我们使用C来写库。我们来测试一下归并排序和计算斐波那契数列的速度。下面是我们要用到的C代码(functions.c):
 

/* functions.c */
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
 
/* http://rosettacode.org/wiki/Sorting_algorithms/Merge_sort#C */
inline void
merge (int *left, int l_len, int *right, int r_len, int *out)
{
int i, j, k;
for (i = j = k = 0; i < l_len && j < r_len;)
out[k++] = left[i] < right[j] ? left[i++] : right[j++];
while (i < l_len)
out[k++] = left[i++];
while (j < r_len)
out[k++] = right[j++];
}
 
/* inner recursion of merge sort */
void
recur (int *buf, int *tmp, int len)
{
int l = len / 2;
if (len <= 1)
return;
/* note that buf and tmp are swapped */
recur (tmp, buf, l);
recur (tmp + l, buf + l, len - l);
merge (tmp, l, tmp + l, len - l, buf);
}
 
/* preparation work before recursion */
void
merge_sort (int *buf, int len)
{
/* call alloc, copy and free only once */
int *tmp = malloc (sizeof (int) * len);
memcpy (tmp, buf, sizeof (int) * len);
recur (buf, tmp, len);
free (tmp);
}
 
int
fibRec (int n)
{
if (n < 2)
return n;
else
return fibRec (n - 1) + fibRec (n - 2);
}

在Linux平台,我们可以用下面的方法把它编译成一个共享库:
 

gcc -Wall -fPIC -c functions.c
gcc -shared -o libfunctions.so functions.o

使用ctypes, 通过加载”libfunctions.so”这个共享库,就像我们前边对标准C库所作的那样,就可以使用这个库了。这里我们将要比较Python实现和C实现。现在我们开始计算斐波那契数列:

# functions.py
 
from ctypes import *
import time
 
libfunctions = cdll.LoadLibrary("./libfunctions.so")
 
def fibRec(n):
if n < 2:
return n
else:
return fibRec(n-1) + fibRec(n-2)
 
start = time.time()
fibRec(32)
finish = time.time()
print("Python: " + str(finish - start))
 
# C Fibonacci
start = time.time()
x = libfunctions.fibRec(32)
finish = time.time()
print("C: " + str(finish - start))

正如我们预料的那样,C比Python和PyPy更快。我们也可以用同样的方式比较归并排序。

我们还没有深挖Cypes库,所以这些例子并没有反映python强大的一面,Cypes库只有少量的标准类型限制,比如int型,char数组,float型,字节(bytes)等等。默认情况下,没有整形数组,然而通过与c_int相乘(ctype为int类型)我们可以间接获得这样的数组。这也是代码第7行所要呈现的。我们创建了一个c_int数组,有关我们数字的数组并分解打包到c_int数组中

主要的是c语言不能这样做,而且你也不想。我们用指针来修改函数体。为了通过我们的c_numbers的数列,我们必须通过引用传递merge_sort功能。运行merge_sort后,我们利用c_numbers数组进行排序,我已经把下面的代码加到我的functions.py文件中了。

#Python Merge Sort
from random import shuffle, sample
 
#Generate 9999 random numbers between 0 and 100000
numbers = sample(range(100000), 9999)
shuffle(numbers)
c_numbers = (c_int * len(numbers))(*numbers)
 
from heapq import merge
def merge_sort(m):
if len(m) <= 1:
return m
middle = len(m) // 2
left = m[:middle]
right = m[middle:]
left = merge_sort(left)
right = merge_sort(right)
return list(merge(left, right))
 
start = time.time()
numbers = merge_sort(numbers)
finish = time.time()
print("Python: " + str(finish - start))
 
#C Merge Sort
start = time.time()
libfunctions.merge_sort(byref(c_numbers), len(numbers))
finish = time.time()
print("C: " + str(finish - start))
 
Python: 0.190635919571 #Python 2.7
Python: 0.11785483360290527 #Python 3.2
Python: 0.266992092133 #PyPy 1.9
Python: 0.265724897385 #PyPy 2.0b1
C: 0.00201296806335 #Python 2.7 + ctypes
C: 0.0019741058349609375 #Python 3.2 + ctypes
C: 0.0029308795929 #PyPy 1.9 + ctypes
C: 0.00287103652954 #PyPy 2.0b1 + ctypes

这儿通过表格和图标来比较不同的结果。

几个提升Python运行效率的方法之间的对比

.几个提升Python运行效率的方法之间的对比

Python 相关文章推荐
理解Python中的类与实例
Apr 27 Python
Python使用matplotlib绘图无法显示中文问题的解决方法
Mar 14 Python
基于Numpy.convolve使用Python实现滑动平均滤波的思路详解
May 16 Python
Python Django框架单元测试之文件上传测试示例
May 17 Python
Python实现简单的列表冒泡排序和反转列表操作示例
Jul 10 Python
基于Django静态资源部署404的解决方法
Jul 28 Python
Python for i in range ()用法详解
Sep 18 Python
如何给Python代码进行加密
Jan 10 Python
Python3 读取Word文件方式
Feb 13 Python
Python的in,is和id函数代码实例
Apr 18 Python
Pytorch实现将模型的所有参数的梯度清0
Jun 24 Python
Python3中小括号()、中括号[]、花括号{}的区别详解
Nov 15 Python
对于Python的Django框架使用的一些实用建议
Apr 03 #Python
《Python之禅》中对于Python编程过程中的一些建议
Apr 03 #Python
给Python初学者的一些编程技巧
Apr 03 #Python
Python新手在作用域方面经常容易碰到的问题
Apr 03 #Python
Python中设置变量作为默认值时容易遇到的错误
Apr 03 #Python
用Python编写一个简单的Lisp解释器的教程
Apr 03 #Python
举例讲解Python中is和id的用法
Apr 03 #Python
You might like
php采集文章中的图片获取替换到本地(实现代码)
2013/07/08 PHP
js限制checkbox勾选的个数以及php获取多个checkbbox的方法深入解析
2013/07/18 PHP
PHP判断数据库中的记录是否存在的方法
2014/11/14 PHP
大家在抢红包,程序员在研究红包算法
2015/08/31 PHP
PHP ADODB实现事务处理功能示例
2018/05/25 PHP
PHP进阶学习之垃圾回收机制详解
2019/06/18 PHP
PHP ob缓存以及ob函数原理实例解析
2020/11/13 PHP
用 javascript 实现的点击复制代码
2007/03/24 Javascript
javascript针对DOM的应用实例(一)
2012/04/15 Javascript
jquery数据验证插件(自制,简单,练手)实例代码
2013/10/24 Javascript
jquerydom对象的事件隐藏显示和对象数组示例
2013/12/10 Javascript
js使用栈来实现10进制转8进制与取除数及余数
2014/06/11 Javascript
由ReactJS的Hello world说开来
2015/07/02 Javascript
javascript中闭包(Closure)详解
2016/01/06 Javascript
JS实现动态添加DOM节点和事件的方法示例
2017/04/28 Javascript
在knockoutjs 上自己实现的flux(实例讲解)
2017/12/18 Javascript
jQuery实现的监听导航滚动置顶状态功能示例
2018/07/23 jQuery
解决vue项目刷新后,导航菜单高亮显示的位置不对问题
2019/11/01 Javascript
[40:01]OG vs Winstrike 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
用实例分析Python中method的参数传递过程
2015/04/02 Python
Python的Django框架中自定义模版标签的示例
2015/07/20 Python
Python内建函数之raw_input()与input()代码解析
2017/10/26 Python
python 2.7.14安装图文教程
2018/04/08 Python
django js实现部分页面刷新的示例代码
2018/05/28 Python
python实现人民币大写转换
2018/06/20 Python
python进程和线程用法知识点总结
2019/05/28 Python
Python爬虫实现“盗取”微信好友信息的方法分析
2019/09/16 Python
Python爬虫实现HTTP网络请求多种实现方式
2020/06/19 Python
基于python requests selenium爬取excel vba过程解析
2020/08/12 Python
css3 仿写阿里云水纹效果的示例代码
2018/02/10 HTML / CSS
The North Face北面荷兰官网:美国著名户外品牌
2019/10/16 全球购物
优秀的毕业生的自我评价
2013/12/12 职场文书
艾滋病宣传标语
2014/06/25 职场文书
时尚女魔头观后感
2015/06/04 职场文书
货款欠条范本
2015/07/03 职场文书
本地搭建minio文件服务器(使用bat脚本启动)的方法
2022/07/15 Servers