Pandas加速代码之避免使用for循环


Posted in Python onMay 30, 2021

前言

使用Pandas dataframe执行数千甚至数百万次计算仍然是一项挑战。你不能简单的将数据丢进去,编写Python for循环,然后希望在合理的时间内处理数据。

Pandas是为一次性处理整个行或列的矢量化操作而设计的,循环遍历每个单元格、行或列并不是它的设计用途。所以,在使用Pandas时,你应该考虑高度可并行化的矩阵运算。

本文将教你如何使用Pandas设计使用的方式,并根据矩阵运算进行思考。在此过程中,我们将向你展示一些实用的节省时间的技巧和窍门,这些技巧和技巧将使你的Pandas代码比那些可怕的Python for循环更快地运行!

数据准备

在本文中,我们将使用经典的鸢尾花数据集。

Pandas加速代码之避免使用for循环

现在让我们建立一个标准线,用Python for循环来测量我们的速度。我们将通过循环遍历每一行来设置要在数据集上执行的计算,然后测量整个操作的速度。这将为我们提供一个基准,以了解我们的新优化对我们有多大帮助。

Pandas加速代码之避免使用for循环

在上面的代码中,我们创建了一个基本函数,它使用If-Else语句根据花瓣的长度选择花的类。我们编写了一个for循环,通过循环dataframe对每一行应用函数,然后测量循环的总时间。

在i7-8700k计算机上,循环运行5次平均需要0.01345秒。

使用.iterrows()

我们可以做的最简单但非常有价值的加速是使用Pandas的内置 .iterrows() 函数。

在上一节中编写for循环时,我们使用了 range() 函数。然而,当我们在Python中对大范围的值进行循环时,生成器往往要快得多。

Pandas的 .iterrows() 函数在内部实现了一个生成器函数,该函数将在每次迭代中生成一行Dataframe。更准确地说,.iterrows() 为DataFrame中的每一行生成(index, Series)的对(元组)。这实际上与在原始Python中使用 enumerate() 之类的东西是一样的,但运行速度要快得多!

生成器(Generators)

生成器函数允许你声明一个行为类似迭代器的函数,也就是说,它可以在for循环中使用。这大大简化了代码,并且比简单的for循环更节省内存。

考虑这样一个例子,我们想把1到1000之间的所有数字加起来。下面代码的第一部分说明了如何使用for循环来实现这一点。

如果列表很小,比如长度为1000,那就很好了。当你想要处理一个庞大的列表时,比如10亿个浮点数,问题就出现了。使用for循环,在内存中创建了大量的内存huge列表,并不是每个人都有无限的RAM来存储这样的东西!Python中的range()函数也做同样的事情,它在内存中构建列表

代码的第(2)节演示了使用Python生成器对数字列表求和。生成器将创建元素并仅在需要时将它们存储在内存中。一次一个。这意味着,如果必须创建10亿个浮点数,那么只能一次将它们存储在内存中。Python中的xrange()函数使用生成器来构建列表。

也就是说,如果你想多次迭代列表并且它足够小以适应内存,那么使用for循环和range函数会更好。这是因为每次访问list值时,生成器和xrange都会重新生成它们,而range是一个静态列表,并且内存中已存在整数以便快速访问。

Pandas加速代码之避免使用for循环

下面我们修改了代码,使用.iterrows()代替常规的for循环。在我上一节测试所用的同一台机器上,平均运行时间为0.005892秒,速度提高了2.28倍!

Pandas加速代码之避免使用for循环

使用.apply()

iterrows()函数极大地提高了速度,但我们还远远没有完成。请始终记住,当使用为向量操作设计的库时,可能有一种方法可以在完全没有for循环的情况下最高效地完成任务。

为我们提供此功能的Pandas功能是 .apply() 函数。apply()函数接受另一个函数作为输入,并沿着DataFrame的轴(行、列等)应用它。在传递函数的这种情况下,lambda通常可以方便地将所有内容打包在一起。

在下面的代码中,我们已经完全用.apply()和lambda函数替换了for循环,打包所需的计算。这段代码的平均运行时间是0.0020897秒,比原来的for循环快6.44倍。

Pandas加速代码之避免使用for循环

apply()之所以快得多,是因为它在内部尝试遍历Cython迭代器。如果你的函数针对Cython进行了优化,.apply()将使你的速度更快。额外的好处是,使用内置函数可以生成更干净、更可读的代码!

最后

前面我们提到过,如果你正在使用一个为向量化操作设计的库,你应该总是在没有for循环的情况下寻找一种方法来进行任何计算。

类似地,以这种方式设计的许多库,包括Pandas,都将具有方便的内置函数,可以执行你正在寻找的精确计算,但速度更快。

Pandas的 .cut() 函数将一组bin定义为输入,这些bin定义了If-Else的每个范围和一组标签。这与我们用 compute_class() 函数手动编写有完全相同的操作。

看下面的代码,看看.cut()是如何工作的。我们又一次得到了更干净、更可读的代码。最后,.cut()函数平均运行0.001423秒,比原来的for循环快了9.39倍!

Pandas加速代码之避免使用for循环

好了,到此这篇关于Pandas加速代码之避免使用for循环的文章就介绍到这了,更多相关Pandas for循环内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中itertools模块用法详解
Sep 25 Python
分析Python编程时利用wxPython来支持多线程的方法
Apr 07 Python
Python自定义scrapy中间模块避免重复采集的方法
Apr 07 Python
Python正则表达式常用函数总结
Jun 24 Python
python 多个参数不为空校验方法
Feb 14 Python
Python实现的合并两个有序数组算法示例
Mar 04 Python
python中数据库like模糊查询方式
Mar 02 Python
Python3自定义http/https请求拦截mitmproxy脚本实例
May 11 Python
Python爬虫简单运用爬取代理IP的实现
Dec 01 Python
Python: glob匹配文件的操作
Dec 11 Python
解决numpy数组互换两行及赋值的问题
Apr 17 Python
python实现会员信息管理系统(List)
Mar 18 Python
pandas提升计算效率的一些方法汇总
May 30 #Python
Python一行代码实现自动发邮件功能
深入解析NumPy中的Broadcasting广播机制
python必学知识之文件操作(建议收藏)
Python使用Kubernetes API访问集群
如何利用pygame实现打飞机小游戏
Python中requests做接口测试的方法
You might like
PHP根据树的前序遍历和中序遍历构造树并输出后序遍历的方法
2017/11/10 PHP
一个不错的js html页面倒计时可精确到秒
2014/10/22 Javascript
javascript 操作符(~、&、|、^、)使用案例
2014/12/31 Javascript
jquery读写cookie操作实例分析
2015/12/24 Javascript
js实现的彩色方块飞舞奇幻效果
2016/01/27 Javascript
jQuery AJAX timeout 超时问题详解
2016/06/21 Javascript
jQuery+pjax简单示例汇总
2017/04/21 jQuery
mac中利用NVM管理不同node版本的方法详解
2017/11/08 Javascript
详解用Node.js写一个简单的命令行工具
2018/03/01 Javascript
基于vue,vue-router, vuex及addRoutes进行权限控制问题
2018/05/02 Javascript
vue通过点击事件读取音频文件的方法
2018/05/30 Javascript
JS实现动态星空背景效果
2019/11/01 Javascript
[04:11]DOTA2上海特级锦标赛主赛事首日TOP10
2016/03/03 DOTA
python处理文本文件实现生成指定格式文件的方法
2014/07/31 Python
十条建议帮你提高Python编程效率
2016/02/16 Python
使用Python3制作TCP端口扫描器
2017/04/17 Python
Python3+PyInstall+Sciter解决报错缺少dll、html等文件问题
2019/07/15 Python
python3 常见解密加密算法实例分析【base64、MD5等】
2019/12/19 Python
Selenium向iframe富文本框输入内容过程图解
2020/04/10 Python
Django微信小程序后台开发教程的实现
2020/06/03 Python
使用Keras构造简单的CNN网络实例
2020/06/29 Python
详解Python遍历列表时删除元素的正确做法
2021/01/07 Python
发现两个有趣的CSS3动画效果
2013/08/14 HTML / CSS
Oracle性能调优原则
2012/05/03 面试题
UNIX文件系统常用命令
2012/05/25 面试题
工作表扬信的范文
2014/01/10 职场文书
大学生活动策划方案
2014/02/10 职场文书
社区先进事迹材料
2014/05/19 职场文书
中学教师师德承诺书
2014/05/23 职场文书
激励员工的口号
2014/06/16 职场文书
合作协议书格式
2014/08/19 职场文书
社区两委对照检查材料
2014/08/23 职场文书
2014年综治维稳工作总结
2014/11/17 职场文书
初中开学典礼新闻稿
2015/07/17 职场文书
深入解读Java三大集合之map list set的用法
2021/11/11 Java/Android
Android在Sqlite3中的应用及多线程使用数据库的建议
2022/04/24 Java/Android