Cython 三分钟入门教程


Posted in Python onSeptember 17, 2009

作者:perrygeo
译者:赖勇浩(http://laiyonghao.com)
原文:http://www.perrygeo.net/wordpress/?p=116

我最喜欢的是Python,它的代码优雅而实用,可惜纯粹从速度上来看它比大多数语言都要慢。大多数人也认为的速度和易于使用是两极对立的——编写C代码的确非常痛苦。而 Cython 试图消除这种两重性,并让你同时拥有 Python 的语法和 C 数据类型和函数——它们两个都是世界上最好的。请记住,我绝不是我在这方面的专家,这是我的第一次Cython真实体验的笔记:

编辑:根据一些我收到的反馈,大家似乎有点混淆——Cython是用来生成 C 扩展到而不是独立的程序的。所有的加速都是针对一个已经存在的 Python 应用的一个函数进行的。没有使用 C 或 Lisp 重写整个应用程序,也没有手写C扩展 。只是用一个简单的方法来整合C的速度和C数据类型到 Python 函数中去。

现在可以说,我们能使下文的 great_circle 函数更快。所谓 great_circle 是计算沿地球表面两点之间的距离的问题:

p1.py

import math

 

def great_circle(lon1,lat1,lon2,lat2):

    radius = 3956 #miles

    x = math.pi/180.0

 

    a = (90.0-lat1)*(x)

    b = (90.0-lat2)*(x)

    theta = (lon2-lon1)*(x)

    c = math.acos((math.cos(a)*math.cos(b)) +

                  (math.sin(a)*math.sin(b)*math.cos(theta)))

    return radius*c

让我们调用它 50 万次并测定它的时间 :

import timeit 

 

lon1, lat1, lon2, lat2 = -72.345, 34.323, -61.823, 54.826

num = 500000

 

t = timeit.Timer("p1.great_circle(%f,%f,%f,%f)" % (lon1,lat1,lon2,lat2),

                       "import p1")

print "Pure python function", t.timeit(num), "sec"

约2.2秒 。它太慢了!

让我们试着快速地用Cython改写它,然后看看是否有差别:
c1.pyx

import math

 

def great_circle(float lon1,float lat1,float lon2,float lat2):

    cdef float radius = 3956.0

    cdef float pi = 3.14159265

    cdef float x = pi/180.0

    cdef float a,b,theta,c

 

    a = (90.0-lat1)*(x)

    b = (90.0-lat2)*(x)

    theta = (lon2-lon1)*(x)

    c = math.acos((math.cos(a)*math.cos(b)) + (math.sin(a)*math.sin(b)*math.cos(theta)))

    return radius*c

请注意,我们仍然import math——cython让您在一定程度上混搭Python和C数据类型在。转换是自动的,但并非没有代价。在这个例子中我们所做的就是定义一个Python函数,声明它的输入参数是浮点数类型,并为所有变量声明类型为C浮点数据类型。计算部分它仍然使用了Python的 math 模块。

现在我们需要将其转换为C代码再编译为Python扩展。完成这一部的最好的办法是编写一个名为setup.py发布脚本。但是,现在我们用手工方式 ,以了解其中的巫术:

# this will create a c1.c file - the C source code to build a python extension

cython c1.pyx

 

# Compile the object file

gcc -c -fPIC -I/usr/include/python2.5/ c1.c

 

# Link it into a shared library

gcc -shared c1.o -o c1.so

现在你应该有一个c1.so(或.dll)文件,它可以被Python import。现在运行一下:

    t = timeit.Timer("c1.great_circle(%f,%f,%f,%f)" % (lon1,lat1,lon2,lat2),

                     "import c1")

    print "Cython function (still using python math)", t.timeit(num), "s

约1.8秒 。并没有我们一开始期望的那种大大的性能提升。使用 python 的 match 模块应该是瓶颈。现在让我们使用C标准库替代之:

c2.pyx

cdef extern from "math.h":

    float cosf(float theta)

    float sinf(float theta)

    float acosf(float theta)

 

def great_circle(float lon1,float lat1,float lon2,float lat2):

    cdef float radius = 3956.0

    cdef float pi = 3.14159265

    cdef float x = pi/180.0

    cdef float a,b,theta,c

 

    a = (90.0-lat1)*(x)

    b = (90.0-lat2)*(x)

    theta = (lon2-lon1)*(x)

    c = acosf((cosf(a)*cosf(b)) + (sinf(a)*sinf(b)*cosf(theta)))

    return radius*cec"

与 import math 相应,我们使用cdef extern 的方式使用从指定头文件声明函数(在此就是使用C标准库的math.h)。我们替代了代价高昂的的Python函数,然后建立新的共享库,并重新测试:

    t = timeit.Timer("c2.great_circle(%f,%f,%f,%f)" % (lon1,lat1,lon2,lat2),

                     "import c2")

    print "Cython function (using trig function from math.h)", t.timeit(num), "sec"

现在有点喜欢它了吧?0.4秒 -比纯Python函数有5倍的速度增长。我们还有什么方法可以再提高速度?c2.great_circle()仍是一个Python函数调用,这意味着它产生Python的API的开销(构建参数元组等),如果我们可以写一个纯粹的C函数的话,我们也许能够加快速度。

c3.pyx

cdef extern from "math.h":

    float cosf(float theta)

    float sinf(float theta)

    float acosf(float theta)

 

cdef float _great_circle(float lon1,float lat1,float lon2,float lat2):

    cdef float radius = 3956.0

    cdef float pi = 3.14159265

    cdef float x = pi/180.0

    cdef float a,b,theta,c

 

    a = (90.0-lat1)*(x)

    b = (90.0-lat2)*(x)

    theta = (lon2-lon1)*(x)

    c = acosf((cosf(a)*cosf(b)) + (sinf(a)*sinf(b)*cosf(theta)))

    return radius*c

 

def great_circle(float lon1,float lat1,float lon2,float lat2,int num):

    cdef int i

    cdef float x

    for i from 0 < = i < num:

        x = _great_circle(lon1,lat1,lon2,lat2)

    return x

请注意,我们仍然有一个Python函数( def ),它接受一个额外的参数 num。这个函数里的循环使用for i from 0 < = i < num: ,而不是更Pythonic,但慢得多的for i in range(num):。真正的计算工作是在C函数(cdef)中进行的,它返回float类型。这个版本只要0.2秒——比原先的Python函数速度提高10倍。

为了证明我们所做的已经足够优化,可以用纯C写一个小应用,然后测定时间:

#include <math .h>

#include <stdio .h>

#define NUM 500000

 

float great_circle(float lon1, float lat1, float lon2, float lat2){

    float radius = 3956.0;

    float pi = 3.14159265;

    float x = pi/180.0;

    float a,b,theta,c;

 

    a = (90.0-lat1)*(x);

    b = (90.0-lat2)*(x);

    theta = (lon2-lon1)*(x);

    c = acos((cos(a)*cos(b)) + (sin(a)*sin(b)*cos(theta)));

    return radius*c;

}

 

int main() {

    int i;

    float x;

    for (i=0; i < = NUM; i++)

        x = great_circle(-72.345, 34.323, -61.823, 54.826);

    printf("%f", x);

}

用gcc -lm -o ctest ctest.c编译它,测试用time ./ctest ...大约0.2秒 。这使我有信心,我Cython扩展相对于我的C代码也极有效率(这并不是说我的C编程能力很弱)。

能够用 cython 优化多少性能通常取决于有多少循环,数字运算和Python函数调用,这些都会让程序变慢。已经有一些人报告说在某些案例上 100 至 1000 倍的速度提升。至于其他的任务,可能不会那么有用。在疯狂地用 Cython 重写 Python 代码之前,记住这一点:

"我们应该忘记小的效率,过早的优化是一切罪恶的根源,有 97% 的案例如此。"——Donald Knuth

换句话说,先用 Python 编写程序,然后看它是否能够满足需要。大多数情况下,它的性能已经足够好了……但有时候真的觉得慢了,那就使用分析器找到瓶颈函数,然后用cython重写,很快就能够得到更高的性能。

外部链接
WorldMill(http://trac.gispython.org/projects/PCL/wiki/WorldMill)——由Sean Gillies 用 Cython 编写的一个快速的,提供简洁的 python 接口的模块,封装了用以处理矢量地理空间数据的 libgdal 库。

编写更快的 Pyrex 代码(http://www.sagemath.org:9001/WritingFastPyrexCode)——Pyrex,是 Cython 的前身,它们有类似的目标和语法。

Python 相关文章推荐
Python切片工具pillow用法示例
Mar 30 Python
Python获取Redis所有Key以及内容的方法
Feb 19 Python
python3+PyQt5 使用三种不同的简便项窗口部件显示数据的方法
Jun 17 Python
Python使用numpy模块实现矩阵和列表的连接操作方法
Jun 26 Python
手机使用python操作图片文件(pydroid3)过程详解
Sep 25 Python
基于Python实现ComicReaper漫画自动爬取脚本过程解析
Nov 11 Python
python绘制BA无标度网络示例代码
Nov 21 Python
Python 音频生成器的实现示例
Dec 24 Python
TensorFlow实现批量归一化操作的示例
Apr 22 Python
浅谈python opencv对图像颜色通道进行加减操作溢出
Jun 03 Python
pytorch VGG11识别cifar10数据集(训练+预测单张输入图片操作)
Jun 24 Python
python中altair可视化库实例用法
Jan 26 Python
phpsir 开发 一个检测百度关键字网站排名的python 程序
Sep 17 #Python
PHP webshell检查工具 python实现代码
Sep 15 #Python
python encode和decode的妙用
Sep 02 #Python
python 简易计算器程序,代码就几行
Aug 29 #Python
python 提取文件的小程序
Jul 29 #Python
Python 文件重命名工具代码
Jul 26 #Python
python 生成目录树及显示文件大小的代码
Jul 23 #Python
You might like
PHP程序员不应该忽略的3点
2015/10/09 PHP
PHP开启目录引索+fancyindex漂亮目录浏览带搜索功能
2019/09/23 PHP
各浏览器中querySelector和querySelectorAll的实现差异分析
2012/05/23 Javascript
javaScript实现浮点数转十六进制字符
2013/10/29 Javascript
JSON无限折叠菜单编写实例
2013/12/16 Javascript
JS使用for循环遍历Table的所有单元格内容
2014/08/21 Javascript
原生js仿jquery实现对Ajax的封装
2016/10/04 Javascript
JavaScript验证知识整理
2017/03/24 Javascript
xmlplus组件设计系列之路由(ViewStack)(7)
2017/05/02 Javascript
详解Vue2.0里过滤器容易踩到的坑
2017/06/01 Javascript
vue2.5.2使用http请求获取静态json数据的实例代码
2018/02/27 Javascript
vue如何进行动画的封装
2018/09/26 Javascript
vue中在vuex的actions中请求数据实例
2019/11/08 Javascript
openlayers4.6.5实现距离量测和面积量测
2020/09/25 Javascript
为什么推荐使用JSX开发Vue3
2020/12/28 Vue.js
Python采用socket模拟TCP通讯的实现方法
2014/11/19 Python
Python实现的异步代理爬虫及代理池
2017/03/17 Python
Python实现PS滤镜碎片特效功能示例
2018/01/24 Python
dataframe设置两个条件取值的实例
2018/04/12 Python
Python2与Python3的区别实例分析
2019/04/11 Python
Python爬虫实现验证码登录代码实例
2019/05/10 Python
Python collections模块使用方法详解
2019/08/28 Python
Python计算机视觉里的IOU计算实例
2020/01/17 Python
Python的历史与优缺点整理
2020/05/26 Python
基于TensorFlow的CNN实现Mnist手写数字识别
2020/06/17 Python
餐饮收银员岗位职责
2014/02/07 职场文书
中学生打架检讨书
2014/02/10 职场文书
聘任书的写作格式及范文
2014/03/29 职场文书
退休教师欢送会主持词
2014/03/31 职场文书
个人承诺书格式
2014/06/03 职场文书
优秀党员自我评价范文
2014/09/15 职场文书
检讨书怎么写
2015/01/23 职场文书
爱鸟护鸟的宣传语
2015/07/13 职场文书
社区志愿者服务心得体会
2016/01/22 职场文书
2016年安康杯竞赛活动总结
2016/04/05 职场文书
Python实现PIL图像处理库绘制国际象棋棋盘
2021/07/16 Python