只需要这一行代码就能让python计算速度提高十倍


Posted in Python onMay 24, 2021

一、前言

Python语言近年来人气爆棚。它广泛应用于数据科学,人工智能,以及网络安全问题中,由于代码可读性较强,学习效率较高,吸引了许多非科班的同学进行学习。然而,使用Python一段时间以后,发现它在速度上完全没有优势可言,特别是计算密集型任务里,性能问题一直是Python的软肋。本文主要介绍了Python的JIT编译器Numba,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

首先要回答这样一个问题:当运行同一个程序时,为什么Python会 比其他语言慢2到10倍?为什么我们无法将它变得更快?

以下是最主要的原因:

  • “它是GIL(Global Interpreter Lock全局解释器锁)”
  • “它是解释型语言而非编译语言”
  • “它是动态类型语言

由于本文的着重点并不是解释Python速度慢的原因以及背后的逻辑,这部分就不深入探讨了,欢迎有兴趣的同学自行搜索?

二、Python的JIT编译器

为了兼具移植性和性能,聪明的工程师们发明了 JIT 这个东西,所谓的 JIT 就是说在解释型语言中,对于经常用到的或者说有较大性能提升的代码在解释的时候编译成机器码,其他一次性或者说没有太大性能提升的代码还是以字节码的方式执行。这样的话,就能在保证移植性的同时,又能让性能提升一大截,

JIT编译在代码运行时动态将Python代码编译为机器代码执行,由于避免了Python内置的解释器,运行速度会有很大提升。比较流行的JIT方案是Numba和Pypy,但由于Python的历史包袱和语法变化等原因,没有一个能够完美实现的方案。方案各自存在不同的优缺点,需要在根据使用领域选择合适的方案。

  • Pypy支持全局的加速,但对C库支持不好,较为适合用于Web服务等事务型任务。
  • Numba能够对某些函数和库进行加速,高性能的同时保持了Python的兼容性,但使用的范围会受到一定限制。

只需要这一行代码就能让python计算速度提高十倍 

三、Numba快速学习

我们主要介绍Numba的基本用法,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

Numba通过使用LLVM技术,将Python代码编译生成优化后的机器码,可以大幅提高代码执行效率。

对于Numba的学习,纽约大学提供了一套入门级别的视频,代码简单,纽约大学Numba快速学习,如果想要浏览中文文章欢迎继续往下看!

关于安装

首先是安装numba,根据python环境,运行不同的安装命令:

conda install numba
pip install numba

四、关于使用

一句话总结:使用Numba最简单的方式就是在函数定义前加@jit 或 @njit的装饰即可。

Numba通过在函数定义前加decorator(修饰符)来申明是否进行加速。如上文所说,最简单的使用方法是@jit。对于Numba的@jit有两种编译模式:nopython和object模式。

nopython模式会完全编译这个被修饰的函数,函数的运行与Python解释器完全无关,不会调用Python的C语言API。如果想获得最佳性能,推荐使用此种模式。同时由于@jit(nopython=True)太常用了,Numba提供了@njit修饰符,和这句话等价,方便使用。但这种模式要求函数中所有变量的类型都可以被编译器推导(一些基本类型,如不能是一些库或自己定义的数据类型等),否则就会报错。

object模式中编译器会自动识别函数中循环语句等可以编译加速的代码部分,并编译成机器码,对于剩下不能识别的部分交给Python解释器运行。如果想获取最佳性能,避免使用这种方法(For best performance avoid using this mode!)。

如果没设置参数nopython=True,Numba首先会尝试使用nopython模式,如果因为某些原因无法使用,则会使用object模式。加了nopython后则会强制编译器使用nopython模式,但如果代码出现了不能自动推导的类型,有报错的风险。

五、实验提升

from numba import jit
import random, time

def monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

@jit
def jit_monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

loops = [100000, 1000000, 10000000, 100000000, 1000000000]

for loop in loops:
	startTime = time.time()
	monte_carlo_pi(loop)
	t = time.time() - startTime
	print('python {} loop: {}'.format(loop, t))

	startTime = time.time()
	jit_monte_carlo_pi(loop)
	t = time.time() - startTime
	print('numba {} loop: {}'.format(loop, t))

对于以上代码,运行的结果是:
python 100000    loop: 0.0469999313354
numba  100000    loop: 0.213999986649
python 1000000   loop: 0.478999853134
numba  1000000   loop: 0.0110001564026
python 10000000  loop: 4.82499980927
numba  10000000  loop: 0.107000112534
python 100000000 loop: 48.728000164
numba  100000000 loop: 1.05900001526
python 1000000000 loop: 489.142100134
numba  1000000000 loop: 11.01402001452

可以看到,jit编译后有约47倍的提升。循环次数越多,numba的加速效果就越明显。对于更复杂的计算函数,numba可能会有更好的效果。

到此这篇关于只需要这一行代码就能让python计算速度提高十倍的文章就介绍到这了,更多相关提高python计算速度内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python使用time模块实现指定时间触发器示例
May 18 Python
详解python字节码
Feb 07 Python
pandas实现选取特定索引的行
Apr 20 Python
caffe binaryproto 与 npy相互转换的实例讲解
Jul 09 Python
python操作excel文件并输出txt文件的实例
Jul 10 Python
用python做游戏的细节详解
Jun 25 Python
django3.02模板中的超链接配置实例代码
Feb 04 Python
Python模块相关知识点小结
Mar 09 Python
Pycharm连接远程服务器过程图解
Apr 30 Python
Selenium结合BeautifulSoup4编写简单的python爬虫
Nov 06 Python
Anaconda的安装与虚拟环境建立
Nov 18 Python
关于的python五子棋的算法
May 02 Python
pytorch 如何使用float64训练
pytorch 使用半精度模型部署的操作
May 24 #Python
解决Pytorch半精度浮点型网络训练的问题
May 24 #Python
Python办公自动化之Excel(中)
May 24 #Python
PyTorch梯度裁剪避免训练loss nan的操作
May 24 #Python
python3读取文件指定行的三种方法
May 24 #Python
pytorch中Schedule与warmup_steps的用法说明
May 24 #Python
You might like
提升PHP性能的21种方法介绍
2013/06/25 PHP
PHP IDE phpstorm 常用快捷键
2015/05/18 PHP
php中实现用数组妩媚地生成要执行的sql语句
2015/07/10 PHP
javascript不同页面传值的改进版
2008/09/30 Javascript
自写简单JS判断是否已经弹出页面
2010/10/20 Javascript
js string 转 int 注意的问题小结
2013/08/15 Javascript
javascript获取浏览器类型和版本的方法(js获取浏览器版本)
2014/03/13 Javascript
NodeJS Express框架中处理404页面一个方式
2014/05/28 NodeJs
手写的一个兼容各种浏览器的javascript getStyle函数(获取元素的样式)
2014/06/06 Javascript
轻松创建nodejs服务器(10):处理POST请求
2014/12/18 NodeJs
跟我学习javascript的定时器
2015/11/19 Javascript
基于javascript实现随机颜色变化效果
2016/01/14 Javascript
Bootstrap Modal对话框如何在关闭时触发事件
2016/12/02 Javascript
jQuery常见面试题之DOM操作详析
2017/07/05 jQuery
使用Nodejs连接mongodb数据库的实现代码
2017/08/21 NodeJs
VuePress 中如何增加用户登录功能
2019/11/29 Javascript
vue 中 elment-ui table合并上下两行相同数据单元格
2019/12/26 Javascript
vue+elementUI(el-upload)图片压缩,默认同比例压缩操作
2020/08/10 Javascript
[01:01:43]EG vs VP 2018国际邀请赛淘汰赛BO3 第二场 8.24
2018/08/25 DOTA
说一说Python logging
2016/04/15 Python
python解决方案:WindowsError: [Error 2]
2016/08/28 Python
Python 旋转打印各种矩形的方法
2019/07/09 Python
python创建与遍历List二维列表的方法
2019/08/16 Python
Django xadmin开启搜索功能的实现
2019/11/15 Python
django 实现手动存储文件到model的FileField
2020/03/30 Python
css3中新增的样式使用示例附效果图
2014/08/19 HTML / CSS
CSS3实现可关闭的下拉手风琴菜单效果
2015/08/31 HTML / CSS
香港时尚女装购物网站:ZAFUL
2017/07/19 全球购物
类和结构的区别
2012/08/15 面试题
软件测试常见笔试题
2012/02/04 面试题
张家口市高新区党工委群众路线教育实践活动整改方案
2014/10/25 职场文书
2014年销售工作总结
2014/12/01 职场文书
小学美术教学反思
2016/02/17 职场文书
2019学生会干事辞职信
2019/06/27 职场文书
python实现局部图像放大
2021/11/17 Python
python playwright 自动等待和断言详解
2021/11/27 Python