Python和C/C++交互的几种方法总结


Posted in Python onMay 11, 2017

前言

python作为一门脚本语言,其好处是语法简单,很多东西都已经封装好了,直接拿过来用就行,所以实现同样一个功能,用Python写要比用C/C++代码量会少得多。但是优点也必然也伴随着缺点(这是肯定的,不然还要其他语言干嘛),python最被人诟病的一个地方可能就是其运行速度了。这这是大部分脚本语言共同面对的问题,因为没有编译过程,直接逐行执行,所以要慢了一大截。所以在一些对速度要求很高的场合,一般都是使用C/C++这种编译型语言来写。但是很多时候,我们既想使用python的简介优美,又不想损失太多的性能,这个时候有没有办法将python与C/C++结合到一起呢?这样在性能与速度要求不高的地方,可以用pyhton写,而关键的运算部分用C/C++写,这样就太好了。python在做科学计算或者数据分析时,这是一个非常普遍的需求。要想实现这个功能,python为我们提供了不止一种解决办法。

下面我就逐一给大家介绍。

一、Cython 混合python与C

官方网址:http://docs.cython.org/en/latest/src/quickstart/overview.html。首先来看看cython的官方介绍吧。

[Cython] is a programming language that makes writing C extensions for the Python language as easy as Python itself. It aims to become a superset of the [Python]language which gives it high-level,  object-oriented, functional, and dynamic programming. Its main feature on top of these is support for optional static type declarations as part of the language. The source code gets translated into optimized C/C++ code and compiled as Python extension modules. This allows for both very fast program execution and tight integration with external C libraries, while keeping up the high programmer productivity for which the Python language is well known.

简单来说,cython就是一个内置了c数据类型的python,它是一个python的超集,兼容几乎所有的纯python代码,但是又可以使用c的数据类型。这样就可以同时使用c库,又不失python的优雅。

好了,不讲太多废话,直接来看cython如何使用吧。这里的介绍大部分来自官网,由于cython涉及到的东西还比较多,所以这里只是简单的入门介绍,详细的信息请移步英文官网。

使用cython有两种方式:第一个是编译生成Python扩展文件(有点类似于dll,即动态链接库),可以直接import使用。第二个是使用jupyter notebook或sage notebook 内联 cython代码。

先看第一种。还是举最经典的hello world的例子吧。新建一个hello.pyx文件,定义一个hello函数如下:

def hello(name):
 print("Hello %s." % name)

然后,我们来写一个setup.py 文件(写python扩展几乎都要写setup.py文件,我之前也简单介绍过怎么写)如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2017/5/8 9:09
# @Author : Lyrichu
# @Email : 919987476@qq.com
# @File : setup.py
'''
@Description: setup.py for hello.pyx
'''
from Cython.Build import cythonize
from distutils.core import setup

# 编写setup函数
setup(
 name = "Hello",
 ext_modules = cythonize("hello.pyx")
)

其中 ext_modules 里面写你要 编译的.pyx文件名字。OK,所有工作都完成了。接下来,进入cmd,切换到setup.py 所在的文件,然后执行命令: python setup.py build_ext --inplace 就会编译生成一个build 文件夹以及一个.pyd文件了,这个pyd文件就是python的动态扩展库,--inplace 的意思是在当前文件目录下生成.pyd文件,不加这一句就会在build文件夹中生成。

截图如下:

Python和C/C++交互的几种方法总结

图 1

可以看出,除了生成了一个pyd文件之外,还生成了一个.c文件。test.py是我们用来测试的文件,在里面写如下内容:

from hello import hello
hello("lyric")

从hello 模块导入 hello函数,然后直接调用就可以了。结果输出 Hello lyric.

再来看如何 在 jupyter notebook中使用cython。如果你装过ipython,一个升级版的python交互式环境,你应该听过 ipyhton notebook的大名,现在它升级了,改名叫jupyter notebook 了。简单来说,这个就是一个可以在网页环境下交互式使用python的工具,不仅可以实时看到计算结果,还可以直接展示表格,图片等,功能还是非常强大的。首先你得安装jupyter notebook.我印象中安装了ipython之后应该就会带了jupyter了。如果没有,可以直接 pip install jupyter .然后输入命令 jupyter notebook 就会在浏览器中打开jupyter了。

如下图2 所示:

Python和C/C++交互的几种方法总结

图 2

点击右上角的new按钮,可以选择新建一个文本文件或者文件夹,markdown或者python文件,这里我们选择新建一个pyhton 文件,然后就会转到一个新的窗口了,如下图3:

Python和C/C++交互的几种方法总结

图 3

In[]:和ipython一样,就代表着我们要输入代码的地方,输入代码之后,点击向右的三角形符号,就会执行代码了。

首先输入 %load_ext cython ,然后执行,%开头的语句是jupyter的魔法命令,%是行命令,%%是单元命令,具体不多说,有空给大家专门介绍一下notebook的使用。

接下来输入:

%%cython
 cdef int a = 0
 for i in range(10):
  a += i
 print(a)

%%cython 表明将cython内嵌到jupyter,cdef 是cython的关键字,用于定义c类型,这里将a定义为c中的int类型,并且初始化为0.

然后后面的循环就是累加0到9的意思,最后输出45.

另外,我们如果想分析代码 的执行情况,可以输入 %%cython --annotate 命令,这样就可以输出结果的同时,也输出 详细的代码执行情况报告了。

截图如图4 所示:

Python和C/C++交互的几种方法总结

图 4

jupyter notebook 可以内嵌cython,不用我们手写setup.py 文件,省去了编译的过程,方便了cython的使用,所以不是正式做项目,只是写一写小东西用jupyter+cython还是非常方便的。

前面提到了 cdef,再举一个稍微复杂点的例子吧。还是引用官网的例子,写一个算积分的函数.新建 integrate.pyx 文件,写入如下内容:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2017/5/8 9:26
# @Author : Lyrichu
# @Email : 919987476@qq.com
# @File : integrate.py
'''
@Description: 积分运算,使用 cython cdef 关键字
'''
def f(double x):
 return x**2 - x

def integrate_f(double a,double b,int N):
 cdef int i
 cdef double s,dx
 s = 0
 dx = (b-a)/N
 for i in range(N):
  s += f(a + i*dx)*dx
 return s # 返回定积分

这段代码应该也是比较好理解的, f()函数是被积函数,a,b是积分的上下限,N是分割小矩形的个数,注意这里将 变量i,s,dx全部都用cdef 声明为c类型了,一般来说,在需要密集计算的地方比如循环或者复杂运算,可以将对应的变量声明为c类型,可以加快运行速度。

然后和上面一样编写 setup.py ,就是把 pyx的文件名改一下,代码我就不贴了。然后python setup.py build_ext --inplace 执行。得到pyd文件,编写测试文件test.py如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2017/5/8 9:35
# @Author : Lyrichu
# @Email : 919987476@qq.com
# @File : test.py
'''
@Description: 测试使用cython 混合c与python的integrate 函数与纯python写的integrate函数速度上的差异
'''
from integrate import integrate_f
import time

a = 1 # 积分区间下界
b = 2 # 积分区间上界
N = 10000 # 划分区间个数

# 使用纯python代码写的integrate函数
def py_f(x):
 return x**2 - x

def py_integrate_f(a,b,N):
 dx = (b-a)/N
 s = 0
 for i in range(N):
  s += py_f(a + i*dx)*dx
 return s

start_time1 = time.time()
integrate_f_res = integrate_f(a,b,N)
print("integrate_f_res = %s" % integrate_f_res)
end_time1 = time.time()
print(u"cython 版本计算耗时:%.8f" % (end_time1 - start_time1))

start_time2 = time.time()
py_integrate_f_res = py_integrate_f(a,b,N)
print("py_integrate_f_res = %s" % py_integrate_f_res)
end_time2 = time.time()
print(u"python 版本计算耗时:%.8f" % (end_time2 - start_time2))

上面的代码,我们重新使用python写了一个积分函数py_integrate_f,与pyd中的integrate_f 函数进行运算对比,结果如下(图5):

Python和C/C++交互的几种方法总结

图5

可以看出,使用了cython的版本比纯Python的版本大概快了4、5倍的样子,而这仅仅是将几个变量改为c类型的结果,可见,cython确实可以方便地对python与c进行混合,获得速度上的提升,又不失去Python的简洁优美。

最后再来说下cython 如何调用c libraries. C 语言 stdlib 库有一个 atoi函数,可以将字符串转化为整数,math库有一个sin函数,我们就以这两个函数为例。新建 calling_c.pyx 文件,文件内容如下:

from libc.stdlib cimport atoi
from libc.math cimport sin

def parse_char_to_int(char * s):
 assert s is not NULL,"byte string value is NULL"
 return atoi(s)

def f_sin_squared(double x):
 return sin(x*x)

前两行导入了C语言中的函数,然后我们自定义了两个函数,parse_char_to_int 可以将字符串转换为整数,f_sin_squared 计算 x平方的sin函数值。写 setup.py 文件,和之前差不多,但是要注意的是,在unix系统下,math库默认是不链接的,所以需要指明其位置,那么在unix系统下,setup.py 文件的内容就需要增加Extension 一项,如下:

from distutils.core import setup
from distutils.extension import Extension
from Cython.Build import cythonize

ext_modules=[
 Extension("calling_c",
    sources=["calling_c.pyx"],
    libraries=["m"] # Unix-like specific
 )
]

setup(
 name = "Calling_c",
 ext_modules = cythonize(ext_modules)
)

然后直接编即可。test.py文件如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2017/5/8 12:21
# @Author : Lyrichu
# @Email : 919987476@qq.com
# @File : test.py
'''
@Description: test file
'''
from calling_c import f_sin_squared,parse_char_to_int
str = "012"
str_b = bytes(str,encoding='utf-8')
n = parse_char_to_int(str_b)
print("n = %d" %n)
from math import pi,sqrt
x = sqrt(pi/2)
res = f_sin_squared(x)
print("sin(pi/2)=%f" % res)

需要注意的是,Python字符串不能直接传入 parse_char_to_int 函数,需要将其转换为 bytes 类型再传入。运行结果为:

n = 12
sin(pi/2)=1.000000

如果不想通过libc导入c语言模块,cython也允许我们自己声明c函数原型来导入,一个例子如下:

# 自己声明c函数原型
cdef extern from "math.h":
 cpdef double cos(double x)

def f_cos(double x):
 return cos(x)

使用了 extern 关键字。

每次都编写setup.py 文件,然后编译,略显麻烦。cython还提供了一种更简单的方法:pyximport。通过导入pyximport(安装cython时会自动安装),在没有引入额外的c库的情况下,可以直接调用pyx中的函数,更为直接与方便。以前面的hello 模块为例,编写好hello.py文件之后,编写一个pyximport_test.py 文件,文件内容如下:

import pyximport
pyximport.install()
import hello
hello.hello("lyric")

直接运行就会发现,确实可以正确导入hello模块。

cython的更多内容,请大家自行访问官网查看。

其他python与c/c++ 混合编程的方式主要还有 使用 ctypes,cffi模块以及swig。本来想一起写的,想想还是分开写吧,不然太长了。后续会陆续更新,敬请关注。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
使用setup.py安装python包和卸载python包的方法
Nov 27 Python
使用python的chardet库获得文件编码并修改编码
Jan 22 Python
Python导入oracle数据的方法
Jul 10 Python
Python的Flask框架中的Jinja2模板引擎学习教程
Jun 30 Python
学习Django知识点分享
Sep 11 Python
python飞机大战pygame游戏背景设计详解
Dec 17 Python
python实现与redis交互操作详解
Apr 21 Python
Python并发concurrent.futures和asyncio实例
May 04 Python
Django form表单与请求的生命周期步骤详解
Jun 07 Python
如何用python批量调整视频声音
Dec 22 Python
Python爬取梨视频的示例
Jan 29 Python
Python实现简繁体转换
Jun 07 Python
Python常用时间操作总结【取得当前时间、时间函数、应用等】
May 11 #Python
详解Python读取配置文件模块ConfigParser
May 11 #Python
python如何获取服务器硬件信息
May 11 #Python
浅谈Python基础之I/O模型
May 11 #Python
老生常谈Python进阶之装饰器
May 11 #Python
python 第三方库的安装及pip的使用详解
May 11 #Python
插入排序_Python与PHP的实现版(推荐)
May 11 #Python
You might like
并发下常见的加锁及锁的PHP具体实现代码
2010/10/12 PHP
ThinkPHP3.1新特性之查询条件预处理简介
2014/06/19 PHP
浅析PHP编程中10个最常见的错误
2014/08/08 PHP
php微信公众号开发之翻页查询
2018/10/20 PHP
PHP各种常见经典算法总结【排序、查找、翻转等】
2019/08/05 PHP
在JavaScript中通过URL传递汉字的方法
2007/04/09 Javascript
分享一个自定义的console类 让你不再纠结JS中的调试代码的兼容
2012/04/20 Javascript
js打开新窗口方法整理
2014/02/17 Javascript
JavaScript使用setTimeout实现延迟弹出警告框的方法
2015/04/07 Javascript
基于JavaScript代码实现pc与手机之间的跳转
2015/12/23 Javascript
JavaScript中object和Object的区别(详解)
2017/02/27 Javascript
vuejs开发组件分享之H5图片上传、压缩及拍照旋转的问题处理
2017/03/06 Javascript
vue通过watch对input做字数限定的方法
2017/07/13 Javascript
深入探究node之Transform
2017/07/20 Javascript
JS实现的简单拖拽购物车功能示例【附源码下载】
2018/01/03 Javascript
jQuery封装animate.css的实例
2018/01/04 jQuery
vue+elementUI 复杂表单的验证、数据提交方案问题
2019/06/24 Javascript
layer设置maxWidth及maxHeight解决方案
2019/07/26 Javascript
vue 实现cli3.0中使用proxy进行代理转发
2019/10/30 Javascript
Python ORM框架SQLAlchemy学习笔记之数据查询实例
2014/06/10 Python
深入理解Python分布式爬虫原理
2017/11/23 Python
Python OpenCV 直方图的计算与显示的方法示例
2018/02/08 Python
python scatter散点图用循环分类法加图例
2019/03/19 Python
基于python的BP神经网络及异或实现过程解析
2019/09/30 Python
python匿名函数的使用方法解析
2019/10/10 Python
通过Python实现Payload分离免杀过程详解
2020/07/13 Python
洛佩桑酒店官方网站:Lopesan Hotels
2019/04/15 全球购物
机电专业体育教师求职信
2013/09/21 职场文书
标准自荐信范文
2014/01/29 职场文书
升旗仪式演讲稿
2014/05/08 职场文书
开服装店计划书
2014/08/15 职场文书
2014单位领导班子四风对照检查材料思想汇报
2014/09/25 职场文书
机关干部个人对照检查材料思想汇报
2014/09/28 职场文书
二年级语文下册复习计划
2015/01/19 职场文书
Python如何导出导入所有依赖包详解
2021/06/08 Python
python中urllib包的网络请求教程
2022/04/19 Python