浅谈python和C语言混编的几种方式(推荐)


Posted in Python onSeptember 27, 2017

Python这些年风头一直很盛,占据了很多领域的位置,Web、大数据、人工智能、运维均有它的身影,甚至图形界面做的也很顺,乃至full-stack这个词语刚出来的时候,似乎就是为了描述它。

Python虽有GIL的问题导致多线程无法充分利用多核,但后来的multiprocess可以从多进程的角度来利用多核,甚至affinity可以绑定具体的CPU核,这个问题也算得到解决。虽基本为全栈语言,但有的时候为了效率,可能还是会去考虑和C语言混编。混编是计算机里一个不可回避的话题,涉及的东西很多,技术、架构、团队情况、管理、客户等各个环节可能对其都有影响,混编这个问题我想到时候再开一贴专门讨论。本文只讲python和C混编的方式,大致有如下几种方式(本文背景是linux,其他平台可以类比):

共享库

使用C语言编译产生共享库,然后python使用ctype库里的cdll来打开共享库。

举例如下,C语言代码为

/* func.c */int func(int a)
{
 return a*a;
} 

python代码为

#!/usr/bin/env python
#test_so.pyfrom ctypes import cdll
import os

p = os.getcwd() + '/libfunc.so'
f = cdll.LoadLibrary(p)
print f.func(99)

测试如下

$ gcc -fPIC -shared func.c -o libfunc.so 
$ ./test_so.py 
9801

subprocess

C语言设计一个完整的可执行文件,然后python通过subprocess来执行该可执行文件,本质上是fork+execve。

举例如下,C语言代码为

/* test.c */
#include <stdio.h>
int func(int a)
{
 return a*a;
}

int main(int argc, char **argv)
{
 int x;

 sscanf(argv[1], "%d", &x);
 printf("%d\n", func(x));
 return 0;
}

Python代码为

#!/usr/bin/env python
# test_subprocess.py
import os
import subprocess

subprocess.call([os.getcwd()+'/a.out', '99'])

测试如下

$ gcc test.c -o a.out
$ ./test_subprocess.py
9801

C语言中运行python程序

C语言使用popen/system或者直接以系统调用级fork+exec来运行python程序也是一种混编的手段了。

举例如下,Python代码如下

#!/usr/bin/env python
# test.py
import sys
x = int(sys.argv[1])
print x*x

C语言代码如下

/* test.c */
#include <stdio.h>
#include <stdlib.h>
int main()
{
 FILE *f;
 char s[1024];
 int ret;

 f = popen("./test.py 99", "r");
 while((ret=fread(s,1,1024,f))>0) {
  fwrite(s,1,ret,stdout);
 }
 fclose(f);
 return 0;
}

测试如下

$ gcc test.c 
$ ./a.out
9801

python对C语言扩展的支持

很多编程语言都为C语言扩展添加了支持,这有两种原因:(1)语言设计之初,可以充分的利用C语言已有的库来做很多扩展;(2)C语言的运行效率高。

python也不例外,从诞生那天起,很多库都是C语言写的。python的C语言扩展中涉及到python的数据结构与C语言的对应,扩展方法其实是用C语言编写一个共享库,只是这个共享库中的接口是一个规范的,可以被python识别的。

为了说明如何扩展,我这里先假设一个在python下的函数功能,代码如下

def func(*a):
 res=1
 for i in range(len(a)):
 res *= sum(a[i])
 return res

如上,希望的函数功能是,参数是任意多个数字组成的列表(姑且排除其他数据结构),返回每个列表的元素之和的乘积。

姑且先把python代码写了,如下所示

#!/usr/bin/env python
# test.py
import colin

def func(*a):
 res=1
 for i in range(len(a)):
 res *= sum(a[i])
 return res

a = [1,2,3]
b = [4,5,6]
c = [7,8]
d = [9]
e = [10,11,12,13,14]

f = colin.func2(99)
g = colin.func3(a,b,c,d,e)
h = func3(a,b,c,d,e)
print "f = ",f
print "g = ",g
print "h = ",h

带上之前一直测试的平方func,这个实现相对简单,希望python写出来的func可以和C语言扩展出来的结果一致。

先用C语言写上这些函数的实现,其中func3用上了一个表示任意多个任意长的数组的数据结构y_t,而x_t用来表示单个数组。

/* colin.h */
#ifndef Colin_h
#define Colin_h
typedef struct {
 int *a;
 int len;
} x_t;
typedef struct {
 x_t *ax;
 int len;
} y_t;
int func2(int a);
int func3(y_t *p);
void free_y_t(y_t *p);
#endif
/* colin.c */
#include "colin.h"
#include <stdlib.h>

int func2(int a)
{
 return a*a;
}

int func3(y_t *p)
{
 int result;
 int sum;
 int i, j;

 result = 1;
 for(i=0;i<p->len;i++) {
  sum = 0;
  for(j=0;j<p->ax[i].len;j++)
   sum += p->ax[i].a[j];
  result *= sum;
 }

 return result;
}

void free_y_t(y_t *p)
{
 int i;
 for(i=0;i<p->len;i++) {
  free(p->ax[i].a);
 }
 free(p->ax);
}

上面定义了三个函数,func2代表平方,func3代表之前所说的功能,又因y_t这个结构可能都是动态分配出来的,所以给个归还内存的方法。

刚才说过python扩展的话,需要把这个共享库的接口“标准化”一下。于是我们就包装一下,并给个python加载的入口。

/* wrap.c */
#include <Python.h>
#include <stdlib.h>
#include "colin.h"
PyObject* wrap_func2(PyObject* self, PyObject* args)
{
 int n, result;
 /* 从参数列表中导出一个整形,用"i" */
 if (!PyArg_ParseTuple(args, "i", &n))
  return NULL;

 /* 用C语言的库实现来计算 */
 result = func2(n);
 /* 计算结果必须要导成python识别的类型 */
 return Py_BuildValue("i", result);
}

PyObject* wrap_func3(PyObject* self, PyObject* args)
{
 int n, result;
 int i, j;
 int size, size2;
 PyObject *p,*q;
 y_t *y;

 y = malloc(sizeof(y_t));
 /* 先数数有多少个参数,也就是列表的个数 */
 size = PyTuple_Size(args);
 /* 把数组的个数先分配了 */
 y->len = size;
 y->ax = malloc(sizeof(x_t)*size);
 /* 遍历python里各个列表(参数) */
 for(i=0;i<size;i++) {
  /* 先获得第i个参数,是一个列表 */
  p = PyTuple_GetItem(args, i);
  /* 获得列表的长度 */
  size2 = PyList_Size(p);
  /* 为数组分配好空间 */
  y->ax[i].len = size2;
  y->ax[i].a = malloc(sizeof(int)*size2);
  /* 遍历列表,依次把列表里的数转到数组里 */
  for(j=0;j<size2;j++) {
   q = PyList_GetItem(p, j);
   PyArg_Parse(q,"i",&y->ax[i].a[j]);
  }
 }

 /* 用C语言的库实现来计算 */
 result = func3(y);
 free_y_t(y);
 free(y);
 /* 结果转成python识别格式 */
 return Py_BuildValue("i", result);
}

/* 这是接口列表,加载时是只加载此列表的地址,所以这个数据结构不能放栈(局部变量)内,会被清掉 */
static PyMethodDef colinMethods[] =
{
 {"func2", wrap_func2, METH_VARARGS, "Just a test"},
 {"func3", wrap_func3, METH_VARARGS, "Just a test"},
 {NULL, NULL, METH_NOARGS, NULL}
};

/* python加载的时候的接口 */
/* 注意,既然库名叫colin,此函数必须交initcolin */
void initcolin()
{
 PyObject *m;
 m = Py_InitModule("colin", colinMethods);
}

过程中,我猜测PyArg_VaParse应该功能更为强大,可是反复测没有成功,也没细看文档。

测试一下

$ gcc -I /usr/include/python2.7/ -fPIC -shared colin.c wrap.c -o colin.so 
$ ./test.py 
f = 9801 
g = 729000 
h = 729000

可以看到,C语言写的函数和python写的函数结果一致。

以上这篇浅谈python和C语言混编的几种方式(推荐)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过自定义isnumber函数判断字符串是否为数字的方法
Apr 23 Python
举例讲解Python的lambda语句声明匿名函数的用法
Jul 01 Python
python opencv 直方图反向投影的方法
Feb 24 Python
django允许外部访问的实例讲解
May 14 Python
将python图片转为二进制文本的实例
Jan 24 Python
使用Python计算玩彩票赢钱概率
Jun 26 Python
python实现控制COM口的示例
Jul 03 Python
手把手教你Python yLab的绘制折线图的画法
Oct 23 Python
Pytorch 实现权重初始化
Dec 31 Python
python seaborn heatmap可视化相关性矩阵实例
Jun 03 Python
Python3+selenium配置常见报错解决方案
Aug 28 Python
Python 解析xml文件的示例
Sep 29 Python
解决Python字典写入文件出行首行有空格的问题
Sep 27 #Python
Python基于分水岭算法解决走迷宫游戏示例
Sep 26 #Python
Python计算斗牛游戏概率算法实例分析
Sep 26 #Python
Python使用修饰器执行函数的参数检查功能示例
Sep 26 #Python
浅谈python for循环的巧妙运用(迭代、列表生成式)
Sep 26 #Python
Python开发中爬虫使用代理proxy抓取网页的方法示例
Sep 26 #Python
Python3.4实现从HTTP代理网站批量获取代理并筛选的方法示例
Sep 26 #Python
You might like
php字符串分割函数explode的实例代码
2013/02/07 PHP
laravel实现图片上传预览,及编辑时可更换图片,并实时变化的例子
2019/11/14 PHP
从JavaScript的函数重名看其初始化方式
2007/03/08 Javascript
jquery、js操作checkbox全选反选
2014/03/12 Javascript
使用Raygun对Node.js应用进行错误处理的方法
2015/06/23 Javascript
基于JavaScript实现根据手机定位获取当前具体位置(X省X市X县X街道X号)
2015/12/29 Javascript
分享javascript实现的冒泡排序代码并优化
2016/06/05 Javascript
easyui datebox 时间限制,datebox开始时间限制结束时间,datebox截止日期比起始日期大的实现代码
2017/01/12 Javascript
js操作浏览器的参数方法
2017/01/21 Javascript
MUI顶部选项卡的用法(tab-top-webview-main)详解
2017/10/08 Javascript
JS实现将对象转化为数组的方法分析
2019/01/21 Javascript
js字符串处理之绝妙的代码
2019/04/05 Javascript
微信小程序关键字变色实现代码实例
2019/12/13 Javascript
vue el-tree 默认展开第一个节点的实现代码
2020/05/15 Javascript
uniapp实现可滑动选项卡
2020/10/21 Javascript
python 简易计算器程序,代码就几行
2009/08/29 Python
初步认识Python中的列表与位运算符
2015/10/12 Python
Python中字符串的格式化方法小结
2016/05/03 Python
基于python中pygame模块的Linux下安装过程(详解)
2017/11/09 Python
Python函数定义及传参方式详解(4种)
2019/03/18 Python
Django Rest framework权限的详细用法
2019/07/25 Python
使用python切片实现二维数组复制示例
2019/11/26 Python
python利用opencv实现SIFT特征提取与匹配
2020/03/05 Python
Django数据库操作之save与update的使用
2020/04/01 Python
车库门开启器、遥控器和零件:Chamberlain
2019/04/09 全球购物
公司晚会主持词
2014/03/22 职场文书
安全生产大检查方案
2014/05/07 职场文书
机械工程及其自动化专业求职信
2014/08/08 职场文书
教师竞聘上岗演讲稿
2014/09/03 职场文书
四风个人对照检查材料思想汇报
2014/09/25 职场文书
初中优秀学生评语
2014/12/29 职场文书
2015年建筑工程工作总结
2015/05/13 职场文书
党校团干班培训心得体会
2016/01/06 职场文书
2019消防宣传标语!
2019/07/10 职场文书
ES6 解构赋值的原理及运用
2021/05/25 Javascript
 Redis 串行生成顺序编码的方法实现
2022/04/03 Redis