只需要这一行代码就能让python计算速度提高十倍


Posted in Python onMay 24, 2021

一、前言

Python语言近年来人气爆棚。它广泛应用于数据科学,人工智能,以及网络安全问题中,由于代码可读性较强,学习效率较高,吸引了许多非科班的同学进行学习。然而,使用Python一段时间以后,发现它在速度上完全没有优势可言,特别是计算密集型任务里,性能问题一直是Python的软肋。本文主要介绍了Python的JIT编译器Numba,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

首先要回答这样一个问题:当运行同一个程序时,为什么Python会 比其他语言慢2到10倍?为什么我们无法将它变得更快?

以下是最主要的原因:

  • “它是GIL(Global Interpreter Lock全局解释器锁)”
  • “它是解释型语言而非编译语言”
  • “它是动态类型语言

由于本文的着重点并不是解释Python速度慢的原因以及背后的逻辑,这部分就不深入探讨了,欢迎有兴趣的同学自行搜索?

二、Python的JIT编译器

为了兼具移植性和性能,聪明的工程师们发明了 JIT 这个东西,所谓的 JIT 就是说在解释型语言中,对于经常用到的或者说有较大性能提升的代码在解释的时候编译成机器码,其他一次性或者说没有太大性能提升的代码还是以字节码的方式执行。这样的话,就能在保证移植性的同时,又能让性能提升一大截,

JIT编译在代码运行时动态将Python代码编译为机器代码执行,由于避免了Python内置的解释器,运行速度会有很大提升。比较流行的JIT方案是Numba和Pypy,但由于Python的历史包袱和语法变化等原因,没有一个能够完美实现的方案。方案各自存在不同的优缺点,需要在根据使用领域选择合适的方案。

  • Pypy支持全局的加速,但对C库支持不好,较为适合用于Web服务等事务型任务。
  • Numba能够对某些函数和库进行加速,高性能的同时保持了Python的兼容性,但使用的范围会受到一定限制。

只需要这一行代码就能让python计算速度提高十倍 

三、Numba快速学习

我们主要介绍Numba的基本用法,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

Numba通过使用LLVM技术,将Python代码编译生成优化后的机器码,可以大幅提高代码执行效率。

对于Numba的学习,纽约大学提供了一套入门级别的视频,代码简单,纽约大学Numba快速学习,如果想要浏览中文文章欢迎继续往下看!

关于安装

首先是安装numba,根据python环境,运行不同的安装命令:

conda install numba
pip install numba

四、关于使用

一句话总结:使用Numba最简单的方式就是在函数定义前加@jit 或 @njit的装饰即可。

Numba通过在函数定义前加decorator(修饰符)来申明是否进行加速。如上文所说,最简单的使用方法是@jit。对于Numba的@jit有两种编译模式:nopython和object模式。

nopython模式会完全编译这个被修饰的函数,函数的运行与Python解释器完全无关,不会调用Python的C语言API。如果想获得最佳性能,推荐使用此种模式。同时由于@jit(nopython=True)太常用了,Numba提供了@njit修饰符,和这句话等价,方便使用。但这种模式要求函数中所有变量的类型都可以被编译器推导(一些基本类型,如不能是一些库或自己定义的数据类型等),否则就会报错。

object模式中编译器会自动识别函数中循环语句等可以编译加速的代码部分,并编译成机器码,对于剩下不能识别的部分交给Python解释器运行。如果想获取最佳性能,避免使用这种方法(For best performance avoid using this mode!)。

如果没设置参数nopython=True,Numba首先会尝试使用nopython模式,如果因为某些原因无法使用,则会使用object模式。加了nopython后则会强制编译器使用nopython模式,但如果代码出现了不能自动推导的类型,有报错的风险。

五、实验提升

from numba import jit
import random, time

def monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

@jit
def jit_monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

loops = [100000, 1000000, 10000000, 100000000, 1000000000]

for loop in loops:
	startTime = time.time()
	monte_carlo_pi(loop)
	t = time.time() - startTime
	print('python {} loop: {}'.format(loop, t))

	startTime = time.time()
	jit_monte_carlo_pi(loop)
	t = time.time() - startTime
	print('numba {} loop: {}'.format(loop, t))

对于以上代码,运行的结果是:
python 100000    loop: 0.0469999313354
numba  100000    loop: 0.213999986649
python 1000000   loop: 0.478999853134
numba  1000000   loop: 0.0110001564026
python 10000000  loop: 4.82499980927
numba  10000000  loop: 0.107000112534
python 100000000 loop: 48.728000164
numba  100000000 loop: 1.05900001526
python 1000000000 loop: 489.142100134
numba  1000000000 loop: 11.01402001452

可以看到,jit编译后有约47倍的提升。循环次数越多,numba的加速效果就越明显。对于更复杂的计算函数,numba可能会有更好的效果。

到此这篇关于只需要这一行代码就能让python计算速度提高十倍的文章就介绍到这了,更多相关提高python计算速度内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python利用elaphe制作二维条形码实现代码
May 25 Python
Python下使用Psyco模块优化运行速度
Apr 05 Python
Python脚本实现自动将数据库备份到 Dropbox
Feb 06 Python
多版本Python共存的配置方法
May 22 Python
Python中交换两个元素的实现方法
Jun 29 Python
浅谈Python中的bs4基础
Oct 21 Python
python 修改本地网络配置的方法
Aug 14 Python
python中有关时间日期格式转换问题
Dec 25 Python
Python startswith()和endswith() 方法原理解析
Apr 28 Python
openCV提取图像中的矩形区域
Jul 21 Python
python开发入门——列表生成式
Sep 03 Python
Python编写nmap扫描工具
Jul 21 Python
pytorch 如何使用float64训练
pytorch 使用半精度模型部署的操作
May 24 #Python
解决Pytorch半精度浮点型网络训练的问题
May 24 #Python
Python办公自动化之Excel(中)
May 24 #Python
PyTorch梯度裁剪避免训练loss nan的操作
May 24 #Python
python3读取文件指定行的三种方法
May 24 #Python
pytorch中Schedule与warmup_steps的用法说明
May 24 #Python
You might like
黑夜路人出的几道php笔试题
2009/08/04 PHP
php file_exists 检查文件或目录是否存在的函数
2010/05/10 PHP
php下封装较好的数字分页方法
2010/11/23 PHP
php面向对象 字段的声明与使用
2012/06/14 PHP
yii2实现根据时间搜索的方法
2016/05/25 PHP
event.X和event.clientX的区别分析
2011/10/06 Javascript
JavaScript中的noscript元素属性位置及作用介绍
2013/04/11 Javascript
javascript中的toFixed固定小数位数 简单实例分享
2013/07/12 Javascript
JS+CSS 制作的超级简单的下拉菜单附图
2013/11/22 Javascript
JS实现密码框根据焦点的获取与失去控制文字的消失与显示效果
2015/11/26 Javascript
jQuery tip提示插件(实例分享)
2017/04/28 jQuery
JavaScript手风琴页面制作
2017/05/17 Javascript
详解windows下vue-cli及webpack 构建网站(二)导入bootstrap样式
2017/06/17 Javascript
vue 2.x 中axios 封装的get 和post方法
2018/02/28 Javascript
vue-cli项目根据线上环境分别打出测试包和生产包
2018/05/23 Javascript
实例讲解JS中pop使用方法
2019/01/27 Javascript
javascript实现简易聊天室
2019/07/12 Javascript
vscode+gulp轻松开发小程序的完整步骤
2020/10/18 Javascript
VUE-ElementUI 自定义Loading图操作
2020/11/11 Javascript
python多进程操作实例
2014/11/21 Python
python函数声明和调用定义及原理详解
2019/12/02 Python
python itsdangerous模块的具体使用方法
2020/02/17 Python
python用pip install时安装失败的一系列问题及解决方法
2020/02/24 Python
如何在Django中使用聚合的实现示例
2020/03/23 Python
Python多线程Threading、子线程与守护线程实例详解
2020/03/24 Python
pytorch 实现L2和L1正则化regularization的操作
2021/03/03 Python
使用CSS3设计地图上的雷达定位提示效果
2016/04/05 HTML / CSS
澳大利亚时尚前卫设计师珠宝在线:Amber Sceats
2017/10/04 全球购物
台湾网购生鲜第一品牌:i3Fresh爱上新鲜
2017/10/26 全球购物
Halston Heritage官网:简洁的日装,稍显奢华的晚装
2018/11/20 全球购物
幼儿园招生广告
2014/03/19 职场文书
实习指导老师评语
2014/04/26 职场文书
大学生社会实践方案
2014/05/11 职场文书
护理专业自荐书
2014/06/04 职场文书
关于python pygame游戏进行声音添加的技巧
2021/10/24 Python
如何让你的Nginx支持分布式追踪详解
2022/07/07 Servers