详解pandas apply 并行处理的几种方法


Posted in Python onFebruary 24, 2021

1. pandarallel (pip install )

对于一个带有Pandas DataFrame df的简单用例和一个应用func的函数,只需用parallel_apply替换经典的apply。

from pandarallel import pandarallel
 
# Initialization
pandarallel.initialize()
 
# Standard pandas apply
df.apply(func)
 
# Parallel apply
df.parallel_apply(func)

注意,如果不想并行化计算,仍然可以使用经典的apply方法。

另外可以通过在initialize函数中传递progress_bar=True来显示每个工作CPU的一个进度条。

2. joblib (pip install )

到此这篇关于详解pandas apply 并行处理的几种方法的文章就介绍到这了,更多相关pandas apply 并行处理内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python登陆asp网站页面的实现代码
Jan 14 Python
Numpy数组的保存与读取方法
Apr 04 Python
Flask框架使用DBUtils模块连接数据库操作示例
Jul 20 Python
Python装饰器模式定义与用法分析
Aug 06 Python
Python 使用 attrs 和 cattrs 实现面向对象编程的实践
Jun 12 Python
Anaconda+vscode+pytorch环境搭建过程详解
May 25 Python
如何表示python中的相对路径
Jul 08 Python
python爬虫爬取网页数据并解析数据
Sep 18 Python
详解pycharm配置python解释器的问题
Oct 15 Python
Django如何继承AbstractUser扩展字段
Nov 27 Python
python+playwright微软自动化工具的使用
Feb 02 Python
简单谈谈Python面向对象的相关知识
Jun 28 Python
python自动生成sql语句的脚本
Feb 24 #Python
Django与AJAX实现网页动态数据显示的示例代码
Feb 24 #Python
一文读懂python Scrapy爬虫框架
Feb 24 #Python
Django如何重置migration的几种情景
Feb 24 #Python
Django中的DateTimeField和DateField实现
Feb 24 #Python
Python制作运行进度条的实现效果(代码运行不无聊)
Feb 24 #Python
学点简单的Django之第一个Django程序的实现
Feb 24 #Python
You might like
Apache+php+mysql在windows下的安装与配置图解(最新版)
2008/11/30 PHP
解析thinkphp import 文件内容变量失效的问题
2013/06/20 PHP
php计算数组相同值出现次数的代码(array_count_values)
2015/01/20 PHP
基于PHP实现发微博动态代码实例
2020/12/11 PHP
通过js脚本复制网页上的一个表格的不错实现方法
2006/12/29 Javascript
页面右下角弹出提示框示例代码js版
2013/08/02 Javascript
JS仿百度搜索自动提示框匹配查询功能
2013/11/21 Javascript
解决Extjs4中form表单提交后无法进入success函数问题
2013/11/26 Javascript
jQuery 1.9.1源码分析系列(十)事件系统之主动触发事件和模拟冒泡处理
2015/11/24 Javascript
在其他地方你学不到的jQuery小贴士和技巧(欢迎收藏)
2016/01/20 Javascript
jstl中判断list中是否包含某个值的简单方法
2016/10/14 Javascript
jQuery Easy UI中根据第一个下拉框选中的值设置第二个下拉框是否可以编辑
2016/11/29 Javascript
jQuery移除或禁用html元素点击事件常用方法小结
2017/02/10 Javascript
关于meta viewport中target-densitydpi属性详解(推荐)
2017/08/18 Javascript
ES6关于Promise的用法详解
2018/05/07 Javascript
vue全局自定义指令-元素拖拽的实现代码
2019/04/14 Javascript
在Vue中使用this.$store或者是$route一直报错的解决
2019/11/08 Javascript
jQuery实现轮播图效果demo
2020/01/11 jQuery
JS实现简单的表格增删
2020/01/16 Javascript
js实现图片上传到服务器和回显
2020/01/19 Javascript
vue接通后端api以及部署到服务器操作
2020/08/13 Javascript
javascript实现智能手环时间显示
2020/09/18 Javascript
基于进程内通讯的python聊天室实现方法
2015/06/28 Python
python3实现网页版raspberry pi(树莓派)小车控制
2020/02/12 Python
Python用5行代码实现批量抠图的示例代码
2020/04/14 Python
pycharm 如何取消连按两下shift出现的全局搜索
2021/01/15 Python
Dower & Hall官网:英国小众轻奢珠宝品牌
2019/01/31 全球购物
北美最大的零售退货翻新商:VIP Outlet
2019/11/21 全球购物
申请任职学生会干部自荐书范文
2014/02/13 职场文书
关于运动会的广播稿
2014/09/22 职场文书
PostgreSQL将数据加载到buffer cache中操作方法
2021/04/16 PostgreSQL
Python基础之字符串格式化详解
2021/04/21 Python
python实现简单区块链结构
2021/04/25 Python
原生JS实现飞机大战小游戏
2021/06/09 Javascript
golang中字符串MD5生成方式总结
2021/07/04 Golang
Mysql binlog日志文件过大的解决
2021/10/05 MySQL