pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python将xml xsl文件生成html文件存储示例讲解
Dec 03 Python
Python3读取文件常用方法实例分析
May 22 Python
python中getaddrinfo()基本用法实例分析
Jun 28 Python
Python+OpenCV实现车牌字符分割和识别
Mar 31 Python
python安装numpy和pandas的方法步骤
May 27 Python
选择Python写网络爬虫的优势和理由
Jul 07 Python
Python使用lambda表达式对字典排序操作示例
Jul 25 Python
Python字符串中添加、插入特定字符的方法
Sep 10 Python
Python实现中值滤波去噪方式
Dec 18 Python
python 解决flask 图片在线浏览或者直接下载的问题
Jan 09 Python
Python3中小括号()、中括号[]、花括号{}的区别详解
Nov 15 Python
解决Pytorch中关于model.eval的问题
May 22 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
php获取网页里所有图片并存入数组的方法
2015/04/06 PHP
PHP基于rabbitmq操作类的生产者和消费者功能示例
2018/06/16 PHP
PHP实现笛卡尔积算法的实例讲解
2019/12/22 PHP
TP框架实现上传一张图片和批量上传图片的方法分析
2020/04/23 PHP
Aster vs Newbee BO3 第三场2.18
2021/03/10 DOTA
通用javascript脚本函数库 方便开发
2009/10/13 Javascript
判断iframe是否加载完成的完美方法
2010/01/07 Javascript
基于jQuery的获得各种控件Value的方法
2010/11/19 Javascript
JavaScript/jQuery 表单美化插件小结
2012/02/14 Javascript
jquery插件开发之实现google+圈子选择功能
2014/03/10 Javascript
jQuery实现响应鼠标背景变化的动态菜单效果代码
2015/08/27 Javascript
jQuery实现自定义右键菜单的树状菜单效果
2015/09/02 Javascript
canvas实现钟表效果
2017/02/13 Javascript
React进阶学习之组件的解耦之道
2017/08/07 Javascript
解决JQuery全选/反选第二次失效的问题
2017/10/11 jQuery
详解在vue-cli项目中使用mockjs(请求数据删除数据)
2017/10/23 Javascript
用VueJS写一个Chrome浏览器插件的实现方法
2019/02/27 Javascript
vue 自定义右键样式的实例代码
2019/11/06 Javascript
js实现简单放大镜效果
2020/03/07 Javascript
VueCli生产环境打包部署跨域失败的解决
2020/11/13 Javascript
[57:16]2014 DOTA2华西杯精英邀请赛 5 25 LGD VS VG第二场
2014/05/26 DOTA
Python随机数random模块使用指南
2016/09/09 Python
Python callable()函数用法实例分析
2018/03/17 Python
利用pandas进行大文件计数处理的方法
2018/07/25 Python
Python3.7 读取 mp3 音频文件生成波形图效果
2019/11/05 Python
使用HTML5和CSS3制作一个模态框的示例
2018/03/07 HTML / CSS
美国棒球装备和用品商店:Baseball Savings
2018/06/09 全球购物
小学语文国培感言
2014/03/04 职场文书
迟到检讨书2000字(精选篇)
2014/10/07 职场文书
办理护照工作证明
2014/10/10 职场文书
党的群众路线教育实践活动学习笔记
2014/11/05 职场文书
2014年保密工作总结
2014/11/22 职场文书
工作态度恶劣检讨书
2015/05/06 职场文书
销售口号霸气押韵
2015/12/24 职场文书
医生行业员工的辞职信
2019/06/24 职场文书
Win11应用商店打开闪退怎么解决? win11应用商店打不开的多种解决办法
2022/04/05 数码科技