pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
遗传算法python版
Mar 19 Python
利用Python实现原创工具的Logo与Help
Dec 03 Python
Python 3.8中实现functools.cached_property功能
May 29 Python
pyqt5与matplotlib的完美结合实例
Jun 21 Python
python实现点击按钮修改数据的方法
Jul 17 Python
pytorch AvgPool2d函数使用详解
Jan 03 Python
Pyecharts绘制全球流向图的示例代码
Jan 08 Python
Pytorch在dataloader类中设置shuffle的随机数种子方式
Jan 14 Python
python如何将两张图片生成为全景图片
Mar 05 Python
python属于哪种语言
Aug 16 Python
Python如何配置环境变量详解
May 18 Python
8g内存用python读取10文件_面试题-python 如何读取一个大于 10G 的txt文件?
May 28 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
Laravel框架数据库CURD操作、连贯操作总结
2014/09/03 PHP
Laravel网站打开速度优化的方法汇总
2017/07/16 PHP
拖动Html元素集合 Drag and Drop any item
2006/12/22 Javascript
javascript实现的鼠标链接提示效果生成器代码
2007/06/28 Javascript
5分钟理解JavaScript中this用法分享
2013/11/09 Javascript
js 左右悬浮对联广告特效代码
2014/12/12 Javascript
jQuery后代选择器用法实例
2014/12/23 Javascript
浅谈js中变量初始化
2015/02/03 Javascript
移动端H5开发 Turn.js实现很棒的翻书效果
2016/06/20 Javascript
JS中Json数据的处理和解析JSON数据的方法详解
2016/06/29 Javascript
bootstrap制作jsp页面(根据值让table显示选中)
2017/01/05 Javascript
Node实战之不同环境下配置文件使用教程
2018/01/02 Javascript
详解三种方式解决vue中v-html元素中标签样式
2018/11/22 Javascript
JavaScript中filter的用法实例分析
2019/02/27 Javascript
如何在JavaScript中优雅的提取循环内数据详解
2019/03/04 Javascript
详解vue之自行实现派发与广播(dispatch与broadcast)
2021/01/19 Vue.js
JavaScript点击按钮生成4位随机验证码
2021/01/28 Javascript
python之模拟鼠标键盘动作具体实现
2013/12/30 Python
新手如何快速入门Python(菜鸟必看篇)
2017/06/10 Python
python+pyqt实现12306图片验证效果
2017/10/25 Python
python使用turtle库绘制树
2018/06/25 Python
python匹配两个短语之间的字符实例
2018/12/25 Python
python不使用for计算两组、多个矩形两两间的iou方式
2020/01/18 Python
最新PyCharm 2020.2.3永久激活码(亲测有效)
2020/11/26 Python
检测用户浏览器是否支持CSS3的方法
2009/08/29 HTML / CSS
CSS3新属性transition-property transform box-shadow实例学习
2013/06/06 HTML / CSS
印尼值得信赖的在线交易网站:Bukalapak
2019/03/11 全球购物
大学毕业生文采飞扬的自我鉴定
2013/12/03 职场文书
党性教育心得体会
2014/09/03 职场文书
运动会广播稿200字
2014/10/18 职场文书
运动会广播稿50字
2015/08/19 职场文书
2016年度先进班组事迹材料
2016/03/01 职场文书
SQL Server——索引+基于单表的数据插入与简单查询【1】
2021/04/05 SQL Server
「租借女友」第2季樱泽墨角色PV&新视觉图公开
2022/03/21 日漫
Android中View.post和Handler.post的关系
2022/06/05 Java/Android
CSS中使用grid布局实现一套模板多种布局
2022/07/15 HTML / CSS