几个提升Python运行效率的方法之间的对比


Posted in Python onApril 03, 2015

在我看来,python社区分为了三个流派,分别是python 2.x组织,3.x组织和PyPy组织。这个分类基本上可以归根于类库的兼容性和速度。这篇文章将聚焦于一些通用代码的优化技巧以及编译成C后性能的显著提升,当然我也会给出三大主要python流派运行时间。我的目的不是为了证明一个比另一个强,只是为了让你知道如何在不同的环境下使用这些具体例子作比较。

使用生成器

一个普遍被忽略的内存优化是生成器的使用。生成器让我们创建一个函数一次只返回一条记录,而不是一次返回所有的记录,如果你正在使用python2.x,这就是你为啥使用xrange替代range或者使用ifilter替代filter的原因。一个很好地例子就是创建一个很大的列表并将它们拼合在一起。

import timeit
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1
 
def create_list(num):
numbers = []
while num:
numbers.append(random.randrange(10))
num -= 1
return numbers
print(timeit.timeit("sum(generate(999))", setup="from __main__ import generate", number=1000))
>>> 0.88098192215 #Python 2.7
>>> 1.416813850402832 #Python 3.2
print(timeit.timeit("sum(create_list(999))", setup="from __main__ import create_list", number=1000))
>>> 0.924163103104 #Python 2.7
>>> 1.5026731491088867 #Python 3.2

这不仅是快了一点,也避免了你在内存中存储全部的列表!

Ctypes的介绍

对于关键性的性能代码python本身也提供给我们一个API来调用C方法,主要通过 ctypes来实现,你可以不写任何C代码来利用ctypes。默认情况下python提供了预编译的标准c库,我们再回到生成器的例子,看看使用ctypes实现花费多少时间。
 

import timeit
from ctypes import cdll
 
def generate_c(num):
#Load standard C library
libc = cdll.LoadLibrary("libc.so.6") #Linux
#libc = cdll.msvcrt #Windows
while num:
yield libc.rand() % 10
num -= 1
 
print(timeit.timeit("sum(generate_c(999))", setup="from __main__ import generate_c", number=1000))
>>> 0.434374809265 #Python 2.7
>>> 0.7084300518035889 #Python 3.2

仅仅换成了c的随机函数,运行时间减了大半!现在如果我告诉你我们还能做得更好,你信吗?

Cython的介绍

Cython 是python的一个超集,允许我们调用C函数以及声明变量来提高性能。尝试使用之前我们需要先安装Cython.
 

sudo pip install cython

Cython 本质上是另一个不再开发的类似类库Pyrex的分支,它将我们的类Python代码编译成C库,我们可以在一个python文件中调用。对于你的python文件使用.pyx后缀替代.py后缀,让我们看一下使用Cython如何来运行我们的生成器代码。
 

#cython_generator.pyx
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1

我们需要创建个setup.py以便我们能获取到Cython来编译我们的函数。
 

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
 
setup(
cmdclass = {'build_ext': build_ext},
ext_modules = [Extension("generator", ["cython_generator.pyx"])]
)

编译使用:
 

python setup.py build_ext --inplace
你应该可以看到两个文件cython_generator.c 文件 和 generator.so文件,我们使用下面方法测试我们的程序:
 
import timeit
print(timeit.timeit("sum(generator.generate(999))", setup="import generator", number=1000))
>>> 0.835658073425

还不赖,让我们看看是否还有可以改进的地方。我们可以先声明“num”为整形,接着我们可以导入标准的C库来负责我们的随机函数。
 

#cython_generator.pyx
cdef extern from "stdlib.h":
int c_libc_rand "rand"()
 
def generate(int num):
while num:
yield c_libc_rand() % 10
num -= 1

如果我们再次编译运行我们会看到这一串惊人的数字。
 

>>> 0.033586025238

仅仅的几个改变带来了不赖的结果。然而,有时这个改变很乏味,因此让我们来看看如何使用规则的python来实现吧。
PyPy的介绍

PyPy 是一个Python2.7.3的即时编译器,通俗地说这意味着让你的代码运行的更快。Quora在生产环境中使用了PyPy。PyPy在它们的下载页面有一些安装说明,但是如果你使用的Ubuntu系统,你可以通过apt-get来安装。它的运行方式是立即可用的,因此没有疯狂的bash或者运行脚本,只需下载然后运行即可。让我们看看我们原始的生成器代码在PyPy下的性能如何。
 

import timeit
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1
 
def create_list(num):
numbers = []
while num:
numbers.append(random.randrange(10))
num -= 1
return numbers
print(timeit.timeit("sum(generate(999))", setup="from __main__ import generate", number=1000))
>>> 0.115154981613 #PyPy 1.9
>>> 0.118431091309 #PyPy 2.0b1
print(timeit.timeit("sum(create_list(999))", setup="from __main__ import create_list", number=1000))
>>> 0.140175104141 #PyPy 1.9
>>> 0.140514850616 #PyPy 2.0b1

哇!没有修改一行代码运行速度是纯python实现的8倍。

进一步测试为什么还要进一步研究?PyPy是冠军!并不全对。虽然大多数程序可以运行在PyPy上,但是还是有一些库没有被完全支持。而且,为你的项目写C的扩展相比换一个编译器更加容易。让我们更加深入一些,看看ctypes如何让我们使用C来写库。我们来测试一下归并排序和计算斐波那契数列的速度。下面是我们要用到的C代码(functions.c):
 

/* functions.c */
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
 
/* http://rosettacode.org/wiki/Sorting_algorithms/Merge_sort#C */
inline void
merge (int *left, int l_len, int *right, int r_len, int *out)
{
int i, j, k;
for (i = j = k = 0; i < l_len && j < r_len;)
out[k++] = left[i] < right[j] ? left[i++] : right[j++];
while (i < l_len)
out[k++] = left[i++];
while (j < r_len)
out[k++] = right[j++];
}
 
/* inner recursion of merge sort */
void
recur (int *buf, int *tmp, int len)
{
int l = len / 2;
if (len <= 1)
return;
/* note that buf and tmp are swapped */
recur (tmp, buf, l);
recur (tmp + l, buf + l, len - l);
merge (tmp, l, tmp + l, len - l, buf);
}
 
/* preparation work before recursion */
void
merge_sort (int *buf, int len)
{
/* call alloc, copy and free only once */
int *tmp = malloc (sizeof (int) * len);
memcpy (tmp, buf, sizeof (int) * len);
recur (buf, tmp, len);
free (tmp);
}
 
int
fibRec (int n)
{
if (n < 2)
return n;
else
return fibRec (n - 1) + fibRec (n - 2);
}

在Linux平台,我们可以用下面的方法把它编译成一个共享库:
 

gcc -Wall -fPIC -c functions.c
gcc -shared -o libfunctions.so functions.o

使用ctypes, 通过加载”libfunctions.so”这个共享库,就像我们前边对标准C库所作的那样,就可以使用这个库了。这里我们将要比较Python实现和C实现。现在我们开始计算斐波那契数列:

# functions.py
 
from ctypes import *
import time
 
libfunctions = cdll.LoadLibrary("./libfunctions.so")
 
def fibRec(n):
if n < 2:
return n
else:
return fibRec(n-1) + fibRec(n-2)
 
start = time.time()
fibRec(32)
finish = time.time()
print("Python: " + str(finish - start))
 
# C Fibonacci
start = time.time()
x = libfunctions.fibRec(32)
finish = time.time()
print("C: " + str(finish - start))

正如我们预料的那样,C比Python和PyPy更快。我们也可以用同样的方式比较归并排序。

我们还没有深挖Cypes库,所以这些例子并没有反映python强大的一面,Cypes库只有少量的标准类型限制,比如int型,char数组,float型,字节(bytes)等等。默认情况下,没有整形数组,然而通过与c_int相乘(ctype为int类型)我们可以间接获得这样的数组。这也是代码第7行所要呈现的。我们创建了一个c_int数组,有关我们数字的数组并分解打包到c_int数组中

主要的是c语言不能这样做,而且你也不想。我们用指针来修改函数体。为了通过我们的c_numbers的数列,我们必须通过引用传递merge_sort功能。运行merge_sort后,我们利用c_numbers数组进行排序,我已经把下面的代码加到我的functions.py文件中了。

#Python Merge Sort
from random import shuffle, sample
 
#Generate 9999 random numbers between 0 and 100000
numbers = sample(range(100000), 9999)
shuffle(numbers)
c_numbers = (c_int * len(numbers))(*numbers)
 
from heapq import merge
def merge_sort(m):
if len(m) <= 1:
return m
middle = len(m) // 2
left = m[:middle]
right = m[middle:]
left = merge_sort(left)
right = merge_sort(right)
return list(merge(left, right))
 
start = time.time()
numbers = merge_sort(numbers)
finish = time.time()
print("Python: " + str(finish - start))
 
#C Merge Sort
start = time.time()
libfunctions.merge_sort(byref(c_numbers), len(numbers))
finish = time.time()
print("C: " + str(finish - start))
 
Python: 0.190635919571 #Python 2.7
Python: 0.11785483360290527 #Python 3.2
Python: 0.266992092133 #PyPy 1.9
Python: 0.265724897385 #PyPy 2.0b1
C: 0.00201296806335 #Python 2.7 + ctypes
C: 0.0019741058349609375 #Python 3.2 + ctypes
C: 0.0029308795929 #PyPy 1.9 + ctypes
C: 0.00287103652954 #PyPy 2.0b1 + ctypes

这儿通过表格和图标来比较不同的结果。

几个提升Python运行效率的方法之间的对比

.几个提升Python运行效率的方法之间的对比

Python 相关文章推荐
Python+django实现简单的文件上传
Aug 17 Python
Ubuntu安装Jupyter Notebook教程
Oct 18 Python
Python入门之后再看点什么好?
Mar 05 Python
pandas获取groupby分组里最大值所在的行方法
Apr 20 Python
python数据结构之线性表的顺序存储结构
Sep 28 Python
python 弹窗提示警告框MessageBox的实例
Jun 18 Python
Django中的用户身份验证示例详解
Aug 07 Python
python返回数组的索引实例
Nov 28 Python
Python Selenium模块安装使用教程详解
Jul 09 Python
详解Flask前后端分离项目案例
Jul 24 Python
浅谈tf.train.Saver()与tf.train.import_meta_graph的要点
May 26 Python
python常见的占位符总结及用法
Jul 02 Python
对于Python的Django框架使用的一些实用建议
Apr 03 #Python
《Python之禅》中对于Python编程过程中的一些建议
Apr 03 #Python
给Python初学者的一些编程技巧
Apr 03 #Python
Python新手在作用域方面经常容易碰到的问题
Apr 03 #Python
Python中设置变量作为默认值时容易遇到的错误
Apr 03 #Python
用Python编写一个简单的Lisp解释器的教程
Apr 03 #Python
举例讲解Python中is和id的用法
Apr 03 #Python
You might like
php制作文本式留言板
2015/03/18 PHP
php注册登录系统简化版
2020/12/28 PHP
Zend Framework框架教程之Zend_Db_Table_Rowset用法实例分析
2016/03/21 PHP
php基于curl主动推送最新内容给百度收录的方法
2016/10/14 PHP
解决windows上php xdebug 无法调试的问题
2020/02/19 PHP
使用新的消息弹出框blackbirdjs
2008/10/16 Javascript
百度 popup.js 完美修正版非常的不错 脚本之家推荐
2009/04/17 Javascript
Extjs EditorGridPanel中ComboBox列的显示问题
2011/07/04 Javascript
能说明你的Javascript技术很烂的五个原因分析
2011/10/28 Javascript
基于豆瓣API+Angular开发的web App
2015/01/02 Javascript
Jquery实现动态切换图片的方法
2015/05/18 Javascript
jQuery基本选择器(实例及表单域value的获取方法)
2016/05/20 Javascript
微信小程序 合法域名校验出错详解及解决办法
2017/03/09 Javascript
又一款MVVM组件 构建自己的Vue组件(2)
2017/03/13 Javascript
angularjs实现简单的购物车功能
2017/09/21 Javascript
javascript计算渐变颜色的实例
2017/09/22 Javascript
详解使用React进行组件库开发
2018/02/06 Javascript
angular4强制刷新视图的方法
2018/10/09 Javascript
微信小程序带动画弹窗组件使用方法详解
2018/11/27 Javascript
详解nodejs http请求相关总结
2019/03/31 NodeJs
解决VUE-Router 同一页面第二次进入不刷新的问题
2020/07/22 Javascript
[01:01:43]EG vs VP 2018国际邀请赛淘汰赛BO3 第二场 8.24
2018/08/25 DOTA
Python读取word文本操作详解
2018/01/22 Python
Python利用ORM控制MongoDB(MongoEngine)的步骤全纪录
2018/09/13 Python
python隐藏终端执行cmd命令的方法
2019/06/24 Python
python动态规划算法实例详解
2020/11/22 Python
python中pyqtgraph知识点总结
2021/01/26 Python
挪威手表购物网站:Klokker
2016/09/19 全球购物
垃圾回收的优点和原理
2014/05/16 面试题
消防安全汇报材料
2014/02/08 职场文书
2014副局长群众路线对照检查材料思想汇报
2014/09/22 职场文书
中学后勤工作总结2015
2015/07/22 职场文书
国家助学金受助感言
2015/08/01 职场文书
Go语言使用select{}阻塞main函数介绍
2021/04/25 Golang
虚拟机linux端mysql数据库无法远程访问的解决办法
2021/05/26 MySQL
python高温预警数据获取实例
2022/07/23 Python