只需要这一行代码就能让python计算速度提高十倍


Posted in Python onMay 24, 2021

一、前言

Python语言近年来人气爆棚。它广泛应用于数据科学,人工智能,以及网络安全问题中,由于代码可读性较强,学习效率较高,吸引了许多非科班的同学进行学习。然而,使用Python一段时间以后,发现它在速度上完全没有优势可言,特别是计算密集型任务里,性能问题一直是Python的软肋。本文主要介绍了Python的JIT编译器Numba,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

首先要回答这样一个问题:当运行同一个程序时,为什么Python会 比其他语言慢2到10倍?为什么我们无法将它变得更快?

以下是最主要的原因:

  • “它是GIL(Global Interpreter Lock全局解释器锁)”
  • “它是解释型语言而非编译语言”
  • “它是动态类型语言

由于本文的着重点并不是解释Python速度慢的原因以及背后的逻辑,这部分就不深入探讨了,欢迎有兴趣的同学自行搜索?

二、Python的JIT编译器

为了兼具移植性和性能,聪明的工程师们发明了 JIT 这个东西,所谓的 JIT 就是说在解释型语言中,对于经常用到的或者说有较大性能提升的代码在解释的时候编译成机器码,其他一次性或者说没有太大性能提升的代码还是以字节码的方式执行。这样的话,就能在保证移植性的同时,又能让性能提升一大截,

JIT编译在代码运行时动态将Python代码编译为机器代码执行,由于避免了Python内置的解释器,运行速度会有很大提升。比较流行的JIT方案是Numba和Pypy,但由于Python的历史包袱和语法变化等原因,没有一个能够完美实现的方案。方案各自存在不同的优缺点,需要在根据使用领域选择合适的方案。

  • Pypy支持全局的加速,但对C库支持不好,较为适合用于Web服务等事务型任务。
  • Numba能够对某些函数和库进行加速,高性能的同时保持了Python的兼容性,但使用的范围会受到一定限制。

只需要这一行代码就能让python计算速度提高十倍 

三、Numba快速学习

我们主要介绍Numba的基本用法,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

Numba通过使用LLVM技术,将Python代码编译生成优化后的机器码,可以大幅提高代码执行效率。

对于Numba的学习,纽约大学提供了一套入门级别的视频,代码简单,纽约大学Numba快速学习,如果想要浏览中文文章欢迎继续往下看!

关于安装

首先是安装numba,根据python环境,运行不同的安装命令:

conda install numba
pip install numba

四、关于使用

一句话总结:使用Numba最简单的方式就是在函数定义前加@jit 或 @njit的装饰即可。

Numba通过在函数定义前加decorator(修饰符)来申明是否进行加速。如上文所说,最简单的使用方法是@jit。对于Numba的@jit有两种编译模式:nopython和object模式。

nopython模式会完全编译这个被修饰的函数,函数的运行与Python解释器完全无关,不会调用Python的C语言API。如果想获得最佳性能,推荐使用此种模式。同时由于@jit(nopython=True)太常用了,Numba提供了@njit修饰符,和这句话等价,方便使用。但这种模式要求函数中所有变量的类型都可以被编译器推导(一些基本类型,如不能是一些库或自己定义的数据类型等),否则就会报错。

object模式中编译器会自动识别函数中循环语句等可以编译加速的代码部分,并编译成机器码,对于剩下不能识别的部分交给Python解释器运行。如果想获取最佳性能,避免使用这种方法(For best performance avoid using this mode!)。

如果没设置参数nopython=True,Numba首先会尝试使用nopython模式,如果因为某些原因无法使用,则会使用object模式。加了nopython后则会强制编译器使用nopython模式,但如果代码出现了不能自动推导的类型,有报错的风险。

五、实验提升

from numba import jit
import random, time

def monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

@jit
def jit_monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

loops = [100000, 1000000, 10000000, 100000000, 1000000000]

for loop in loops:
	startTime = time.time()
	monte_carlo_pi(loop)
	t = time.time() - startTime
	print('python {} loop: {}'.format(loop, t))

	startTime = time.time()
	jit_monte_carlo_pi(loop)
	t = time.time() - startTime
	print('numba {} loop: {}'.format(loop, t))

对于以上代码,运行的结果是:
python 100000    loop: 0.0469999313354
numba  100000    loop: 0.213999986649
python 1000000   loop: 0.478999853134
numba  1000000   loop: 0.0110001564026
python 10000000  loop: 4.82499980927
numba  10000000  loop: 0.107000112534
python 100000000 loop: 48.728000164
numba  100000000 loop: 1.05900001526
python 1000000000 loop: 489.142100134
numba  1000000000 loop: 11.01402001452

可以看到,jit编译后有约47倍的提升。循环次数越多,numba的加速效果就越明显。对于更复杂的计算函数,numba可能会有更好的效果。

到此这篇关于只需要这一行代码就能让python计算速度提高十倍的文章就介绍到这了,更多相关提高python计算速度内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现将不规范的英文名字首字母大写
Nov 15 Python
使用Python脚本和ADB命令实现卸载App
Feb 10 Python
python3正则提取字符串里的中文实例
Jan 31 Python
Python开启线程,在函数中开线程的实例
Feb 22 Python
Python中base64与xml取值结合问题
Dec 22 Python
Python文件操作函数用法实例详解
Dec 24 Python
Python Tornado之跨域请求与Options请求方式
Mar 28 Python
python代码区分大小写吗
Jun 17 Python
Pytorch实现将模型的所有参数的梯度清0
Jun 24 Python
Scrapy中如何向Spider传入参数的方法实现
Sep 28 Python
pytorch下的unsqueeze和squeeze的用法说明
Feb 06 Python
Python scrapy爬取起点中文网小说榜单
Jun 13 Python
pytorch 如何使用float64训练
pytorch 使用半精度模型部署的操作
May 24 #Python
解决Pytorch半精度浮点型网络训练的问题
May 24 #Python
Python办公自动化之Excel(中)
May 24 #Python
PyTorch梯度裁剪避免训练loss nan的操作
May 24 #Python
python3读取文件指定行的三种方法
May 24 #Python
pytorch中Schedule与warmup_steps的用法说明
May 24 #Python
You might like
PHP 操作文件的一些FAQ总结
2009/02/12 PHP
php程序之die调试法 快速解决错误
2009/09/17 PHP
php使用filter过滤器验证邮箱 ipv6地址 url验证
2013/12/25 PHP
PHP用户验证和标签推荐的简单使用
2016/10/31 PHP
浅谈php fopen下载远程文件的函数
2016/11/18 PHP
php生成word并下载代码实例
2019/03/15 PHP
js 代码集(学习js的朋友可以看下)
2009/07/22 Javascript
js判断屏幕分辨率的代码
2013/07/16 Javascript
JQuery获取或设置ckeditor的数据(示例代码)
2013/11/15 Javascript
jquery实现网页查找功能示例分享
2014/02/12 Javascript
多种方法实现360浏览器下禁止自动填写用户名密码
2014/06/16 Javascript
微信分享的标题、缩略图、连接及描述设置方法
2014/10/14 Javascript
JavaScript将字符串转换成字符编码列表的方法
2015/03/19 Javascript
关于javascript中dataset的问题小结
2015/11/16 Javascript
laypage分页控件使用实例详解
2016/05/19 Javascript
seajs学习教程之基础篇
2016/10/20 Javascript
解决bootstrap中使用modal加载kindeditor时弹出层文本框不能输入的问题
2017/06/05 Javascript
浅析Vue中拆分视图层代码的5点建议
2019/08/15 Javascript
微信小程序官方动态自定义底部tabBar的例子
2019/09/04 Javascript
node.js通过Sequelize 连接MySQL的方法
2020/12/28 Javascript
Python3基础之基本数据类型概述
2014/08/13 Python
pandas Dataframe行列读取的实例
2018/06/08 Python
python对于requests的封装方法详解
2019/01/03 Python
python SQLAlchemy的Mapping与Declarative详解
2019/07/04 Python
python爬虫 爬取58同城上所有城市的租房信息详解
2019/07/30 Python
Django项目创建到启动详解(最全最详细)
2019/09/07 Python
详谈tensorflow gfile文件的用法
2020/02/05 Python
Python实现桌面翻译工具【新手必学】
2020/02/12 Python
python GUI库图形界面开发之PyQt5简单绘图板实例与代码分析
2020/03/08 Python
Python logging模块原理解析及应用
2020/08/13 Python
Python中用xlwt制作表格实例讲解
2020/11/05 Python
美国眼镜网站:EyeBuyDirect
2017/04/13 全球购物
护理自我鉴定范文
2013/10/06 职场文书
大学生物业管理求职信
2013/10/24 职场文书
运动会加油口号
2014/06/07 职场文书
2014预防青少年违法犯罪工作总结
2014/12/10 职场文书