Pandas加速代码之避免使用for循环


Posted in Python onMay 30, 2021

前言

使用Pandas dataframe执行数千甚至数百万次计算仍然是一项挑战。你不能简单的将数据丢进去,编写Python for循环,然后希望在合理的时间内处理数据。

Pandas是为一次性处理整个行或列的矢量化操作而设计的,循环遍历每个单元格、行或列并不是它的设计用途。所以,在使用Pandas时,你应该考虑高度可并行化的矩阵运算。

本文将教你如何使用Pandas设计使用的方式,并根据矩阵运算进行思考。在此过程中,我们将向你展示一些实用的节省时间的技巧和窍门,这些技巧和技巧将使你的Pandas代码比那些可怕的Python for循环更快地运行!

数据准备

在本文中,我们将使用经典的鸢尾花数据集。

Pandas加速代码之避免使用for循环

现在让我们建立一个标准线,用Python for循环来测量我们的速度。我们将通过循环遍历每一行来设置要在数据集上执行的计算,然后测量整个操作的速度。这将为我们提供一个基准,以了解我们的新优化对我们有多大帮助。

Pandas加速代码之避免使用for循环

在上面的代码中,我们创建了一个基本函数,它使用If-Else语句根据花瓣的长度选择花的类。我们编写了一个for循环,通过循环dataframe对每一行应用函数,然后测量循环的总时间。

在i7-8700k计算机上,循环运行5次平均需要0.01345秒。

使用.iterrows()

我们可以做的最简单但非常有价值的加速是使用Pandas的内置 .iterrows() 函数。

在上一节中编写for循环时,我们使用了 range() 函数。然而,当我们在Python中对大范围的值进行循环时,生成器往往要快得多。

Pandas的 .iterrows() 函数在内部实现了一个生成器函数,该函数将在每次迭代中生成一行Dataframe。更准确地说,.iterrows() 为DataFrame中的每一行生成(index, Series)的对(元组)。这实际上与在原始Python中使用 enumerate() 之类的东西是一样的,但运行速度要快得多!

生成器(Generators)

生成器函数允许你声明一个行为类似迭代器的函数,也就是说,它可以在for循环中使用。这大大简化了代码,并且比简单的for循环更节省内存。

考虑这样一个例子,我们想把1到1000之间的所有数字加起来。下面代码的第一部分说明了如何使用for循环来实现这一点。

如果列表很小,比如长度为1000,那就很好了。当你想要处理一个庞大的列表时,比如10亿个浮点数,问题就出现了。使用for循环,在内存中创建了大量的内存huge列表,并不是每个人都有无限的RAM来存储这样的东西!Python中的range()函数也做同样的事情,它在内存中构建列表

代码的第(2)节演示了使用Python生成器对数字列表求和。生成器将创建元素并仅在需要时将它们存储在内存中。一次一个。这意味着,如果必须创建10亿个浮点数,那么只能一次将它们存储在内存中。Python中的xrange()函数使用生成器来构建列表。

也就是说,如果你想多次迭代列表并且它足够小以适应内存,那么使用for循环和range函数会更好。这是因为每次访问list值时,生成器和xrange都会重新生成它们,而range是一个静态列表,并且内存中已存在整数以便快速访问。

Pandas加速代码之避免使用for循环

下面我们修改了代码,使用.iterrows()代替常规的for循环。在我上一节测试所用的同一台机器上,平均运行时间为0.005892秒,速度提高了2.28倍!

Pandas加速代码之避免使用for循环

使用.apply()

iterrows()函数极大地提高了速度,但我们还远远没有完成。请始终记住,当使用为向量操作设计的库时,可能有一种方法可以在完全没有for循环的情况下最高效地完成任务。

为我们提供此功能的Pandas功能是 .apply() 函数。apply()函数接受另一个函数作为输入,并沿着DataFrame的轴(行、列等)应用它。在传递函数的这种情况下,lambda通常可以方便地将所有内容打包在一起。

在下面的代码中,我们已经完全用.apply()和lambda函数替换了for循环,打包所需的计算。这段代码的平均运行时间是0.0020897秒,比原来的for循环快6.44倍。

Pandas加速代码之避免使用for循环

apply()之所以快得多,是因为它在内部尝试遍历Cython迭代器。如果你的函数针对Cython进行了优化,.apply()将使你的速度更快。额外的好处是,使用内置函数可以生成更干净、更可读的代码!

最后

前面我们提到过,如果你正在使用一个为向量化操作设计的库,你应该总是在没有for循环的情况下寻找一种方法来进行任何计算。

类似地,以这种方式设计的许多库,包括Pandas,都将具有方便的内置函数,可以执行你正在寻找的精确计算,但速度更快。

Pandas的 .cut() 函数将一组bin定义为输入,这些bin定义了If-Else的每个范围和一组标签。这与我们用 compute_class() 函数手动编写有完全相同的操作。

看下面的代码,看看.cut()是如何工作的。我们又一次得到了更干净、更可读的代码。最后,.cut()函数平均运行0.001423秒,比原来的for循环快了9.39倍!

Pandas加速代码之避免使用for循环

好了,到此这篇关于Pandas加速代码之避免使用for循环的文章就介绍到这了,更多相关Pandas for循环内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
详解python 发送邮件实例代码
Dec 22 Python
利用numpy和pandas处理csv文件中的时间方法
Apr 19 Python
实例讲解python中的序列化知识点
Oct 08 Python
使用pip发布Python程序的方法步骤
Oct 11 Python
Python2和Python3中urllib库中urlencode的使用注意事项
Nov 26 Python
Python图像处理库PIL中图像格式转换的实现
Feb 26 Python
解决paramiko执行命令超时的问题
Apr 16 Python
使用tensorflow框架在Colab上跑通猫狗识别代码
Apr 26 Python
Python如何合并多个字典或映射
Jul 24 Python
如何在Python3中使用telnetlib模块连接网络设备
Sep 21 Python
pyqt5实现井字棋的示例代码
Dec 07 Python
Python 中Operator模块的使用
Jan 30 Python
pandas提升计算效率的一些方法汇总
May 30 #Python
Python一行代码实现自动发邮件功能
深入解析NumPy中的Broadcasting广播机制
python必学知识之文件操作(建议收藏)
Python使用Kubernetes API访问集群
如何利用pygame实现打飞机小游戏
Python中requests做接口测试的方法
You might like
html中select语句读取mysql表中内容
2006/10/09 PHP
PHP伪静态页面函数附使用方法
2008/06/20 PHP
PHP系列学习之日期函数使用介绍
2012/08/18 PHP
php实现数组筛选奇数和偶数示例
2014/04/11 PHP
详解WordPress开发中wp_title()函数的用法
2016/01/07 PHP
php中文乱码问题的终极解决方案汇总
2017/08/01 PHP
详解json在php中的应用
2018/09/30 PHP
PHP实现文字写入图片功能
2019/02/18 PHP
用javascript实现分割提取页面所需内容
2007/05/09 Javascript
表格 隔行换色升级版
2009/11/07 Javascript
JavaScript获取flash对象与网上的有所不同
2014/04/21 Javascript
jquery查找tr td 示例模拟
2014/05/08 Javascript
JQuery打造省市下拉框联动效果
2014/05/18 Javascript
黑帽seo劫持程序,js劫持搜索引擎代码
2015/09/15 Javascript
JS实现带有抽屉效果的产品类网站多级导航菜单代码
2015/09/15 Javascript
Bootstrap中CSS的使用方法
2016/02/17 Javascript
即将发布的jQuery 3 有哪些新特性
2016/04/14 Javascript
创建一个类Person的简单实例
2016/05/17 Javascript
详解微信小程序 相对定位和绝对定位
2017/05/11 Javascript
iview日期控件,双向绑定日期格式的方法
2018/03/15 Javascript
在vue中使用jointjs的方法
2018/03/24 Javascript
详解JavaScript 的执行机制
2020/09/18 Javascript
一则python3的简单爬虫代码
2014/05/26 Python
python实现将英文单词表示的数字转换成阿拉伯数字的方法
2015/07/02 Python
python读取oracle函数返回值
2016/07/18 Python
Python 线程池用法简单示例
2019/10/02 Python
Pytorch实现神经网络的分类方式
2020/01/08 Python
Pytorch使用MNIST数据集实现基础GAN和DCGAN详解
2020/01/10 Python
一篇文章教你用python画动态爱心表白
2020/11/22 Python
如何将一个描述日期或日期/时间的字符串转换为一个Date对象
2015/10/13 面试题
个人简历自我鉴定
2013/10/11 职场文书
自主招生自荐书
2013/11/29 职场文书
研究生求职自荐书
2014/06/23 职场文书
2014年服装销售工作总结
2014/11/27 职场文书
导游词之上海豫园
2019/10/24 职场文书
科普 | 业余无线电知识-波段篇
2022/02/18 无线电