pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python类方法__init__和__del__构造、析构过程分析
Mar 06 Python
解决Ubuntu pip 安装 mysql-python包出错的问题
Jun 11 Python
python在回调函数中获取返回值的方法
Feb 22 Python
Python面向对象程序设计构造函数和析构函数用法分析
Apr 12 Python
python画图的函数用法以及技巧
Jun 28 Python
Python 寻找局部最高点的实现
Dec 05 Python
利用Python脚本批量生成SQL语句
Mar 04 Python
python用TensorFlow做图像识别的实现
Apr 21 Python
使用 django orm 写 exists 条件过滤实例
May 20 Python
python numpy矩阵信息说明,shape,size,dtype
May 22 Python
Python OpenCV快速入门教程
Apr 17 Python
浅谈Python中的函数(def)及参数传递操作
May 25 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
分享五个PHP7性能优化提升技巧
2015/12/07 PHP
[原创]PHP字符串中插入子字符串方法总结
2016/05/06 PHP
解决laravel中日志权限莫名变成了root的问题
2019/10/17 PHP
用ADODB.Stream转换
2007/01/22 Javascript
一些易混淆且不常用的属性,希望有用
2007/01/29 Javascript
初学Javascript的一些总结
2008/11/03 Javascript
用jQuery扩展自写的 UI导航
2010/01/13 Javascript
JavaScript针对网页节点的增删改查用法实例
2015/02/02 Javascript
JavaScript子窗口调用父窗口变量和函数的方法
2015/10/09 Javascript
jQuery新窗口打开外链接
2016/07/21 Javascript
JavaScript SHA-256加密算法详细代码
2016/10/06 Javascript
javascript使用递归算法求两个数字组合功能示例
2017/01/03 Javascript
js实现鼠标拖动功能
2017/03/20 Javascript
Angular2里获取(input file)上传文件的内容的方法
2017/09/05 Javascript
ES6扩展运算符用法实例分析
2017/10/31 Javascript
Vue中的Props(不可变状态)
2018/09/29 Javascript
Easyui 关闭jquery-easui tab标签页前触发事件的解决方法
2019/04/28 jQuery
JS字符串常用操作方法实例小结
2019/06/24 Javascript
微信小程序报错: thirdScriptError的错误问题
2020/06/19 Javascript
[02:03]永远的信仰DOTA2 中国军团历届国际邀请赛回顾
2016/06/26 DOTA
[40:53]完美世界DOTA2联赛PWL S3 Magma vs DLG 第二场 12.18
2020/12/20 DOTA
Django中login_required装饰器的深入介绍
2017/11/24 Python
学习python分支结构
2019/05/17 Python
Python利用matplotlib绘制约数个数统计图示例
2019/11/26 Python
python_array[0][0]与array[0,0]的区别详解
2020/02/18 Python
Python双链表原理与实现方法详解
2020/02/22 Python
判断Threading.start新线程是否执行完毕的实例
2020/05/02 Python
澳大利亚领先的运动鞋商店:Hype DC
2018/03/31 全球购物
北京振戎融通Java面试题
2015/09/03 面试题
外企求职信范文分享
2013/12/31 职场文书
董事长助理工作职责范本
2014/07/01 职场文书
小学教师师德整改措施
2014/09/29 职场文书
股东出资证明书范例
2014/10/04 职场文书
岗位竞聘报告范文
2014/11/06 职场文书
南京大屠杀观后感
2015/06/02 职场文书
乡镇司法所2015年度工作总结
2015/10/14 职场文书