pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Flask的图形化管理界面搭建框架Flask-Admin的使用教程
Jun 13 Python
Python 数据结构之旋转链表
Feb 25 Python
pandas DataFrame数据转为list的方法
Apr 11 Python
使用tensorflow实现线性回归
Sep 08 Python
python实现将多个文件分配到多个文件夹的方法
Jan 07 Python
使用Fabric自动化部署Django项目的实现
Sep 27 Python
python文件读写代码实例
Oct 21 Python
python 上下文管理器及自定义原理解析
Nov 19 Python
基于python检查矩阵计算结果
May 21 Python
没编程基础可以学python吗
Jun 17 Python
python连接mysql有哪些方法
Jun 24 Python
python 统计list中各个元素出现的次数的几种方法
Feb 20 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
Terran兵种对照表
2020/03/14 星际争霸
学习php设计模式 php实现模板方法模式
2015/12/08 PHP
PHP生成短网址的思路以及实现方法的详解
2019/03/25 PHP
Javascript解决常见浏览器兼容问题的12种方法
2010/01/04 Javascript
比较搞笑的js陷阱题
2010/02/07 Javascript
node.js学习总结之调式代码的方法
2014/06/25 Javascript
jquery实现在页面加载的时自动为日期插件添加当前日期
2014/08/20 Javascript
Js使用WScript.Shell对象执行.bat文件和cmd命令
2014/12/18 Javascript
使用ngView配合AngularJS应用实现动画效果的方法
2015/06/19 Javascript
js实现图片淡入淡出切换简易效果
2016/08/22 Javascript
Node.js设置CORS跨域请求中多域名白名单的方法
2017/03/28 Javascript
JS操作时间 - UNIX时间戳的简单介绍(必看篇)
2017/08/16 Javascript
JavaScript中一些特殊的字符运算
2017/08/17 Javascript
原生js封装添加class,删除class的实例
2017/11/06 Javascript
vuejs实现递归树型菜单组件
2018/01/13 Javascript
深入剖析Express cookie-parser中间件实现示例
2018/02/01 Javascript
微信小程序学习笔记之表单提交与PHP后台数据交互处理图文详解
2019/03/28 Javascript
BootStrap前端框架使用方法详解
2020/02/26 Javascript
[02:41]2015国际邀请赛中国区预选赛观战指南
2015/05/20 DOTA
详解使用python crontab设置linux定时任务
2016/12/08 Python
python将txt文件读入为np.array的方法
2018/10/30 Python
python实现flappy bird游戏
2018/12/24 Python
Python WEB应用部署的实现方法
2019/01/02 Python
python3实现指定目录下文件sha256及文件大小统计
2019/02/25 Python
python3.7调试的实例方法
2020/07/21 Python
Jupyter Notebook安装及使用方法解析
2020/11/12 Python
使用纯HTML5编写一款网页上的时钟的代码分享
2015/11/16 HTML / CSS
九年级政治教学反思
2014/02/06 职场文书
公司合作协议书范本
2014/04/18 职场文书
2015年党员创先争优承诺书
2015/01/22 职场文书
2015年纪检监察工作总结
2015/04/08 职场文书
委托开发合同书(标准版)
2019/08/07 职场文书
golang 实现菜单树的生成方式
2021/04/28 Golang
Python装饰器的练习题
2021/11/23 Python
Spring Cloud OpenFeign模版化客户端
2022/06/25 Java/Android
mysqldump进行数据备份详解
2022/07/15 MySQL