pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python类定义的讲解
Nov 01 Python
Python爬取网易云音乐上评论火爆的歌曲
Jan 19 Python
利用python程序生成word和PDF文档的方法
Feb 14 Python
Python使用win32com模块实现数据库表结构自动生成word表格的方法
Jul 17 Python
pandas数据集的端到端处理
Feb 18 Python
Python中的引用知识点总结
May 20 Python
PyCharm专业最新版2019.1安装步骤(含激活码)
Oct 09 Python
如何使用python3获取当前路径及os.path.dirname的使用
Dec 13 Python
实现Python与STM32通信方式
Dec 18 Python
解析PyCharm Python运行权限问题
Jan 08 Python
详解Python自动化之文件自动化处理
Jun 21 Python
Python线程池与GIL全局锁实现抽奖小案例
Apr 13 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
一个阿拉伯数字转中文数字的函数
2006/10/09 PHP
目录,文件操作详谈―PHP
2006/11/25 PHP
php 攻击方法之谈php+mysql注射语句构造
2009/10/30 PHP
php 提速工具eAccelerator 配置参数详解
2010/05/16 PHP
php smarty 二级分类代码和模版循环例子
2011/06/01 PHP
php加密算法之实现可逆加密算法和解密分享
2014/01/21 PHP
PHP中Header使用的HTTP协议及常用方法小结
2014/11/04 PHP
php站内搜索关键词变亮的实现方法
2014/12/30 PHP
PHP十六进制颜色随机生成器功能示例
2017/07/24 PHP
input 输入框获得/失去焦点时隐藏/显示文字(jquery版)
2013/04/02 Javascript
javascript解决innerText浏览器兼容问题思路代码
2013/05/17 Javascript
IE下支持文本框和密码框placeholder效果的JQuery插件分享
2015/01/31 Javascript
如何使用AngularJs打造权限管理系统【简易型】
2016/05/09 Javascript
基于KO+BootStrap+MVC实现的分页控件代码分享
2016/11/07 Javascript
快速入门Vue
2016/12/19 Javascript
简单理解js的冒泡排序
2016/12/19 Javascript
vue 挂载路由到头部导航的方法
2017/11/13 Javascript
vue中keep-alive组件的入门使用教程
2019/06/06 Javascript
JavaScript RegExp 对象用法详解
2019/09/24 Javascript
关于引入vue.js 文件的知识点总结
2020/01/28 Javascript
vue.js click点击事件获取当前元素对象的操作
2020/08/07 Javascript
[01:02:02]DOTA2上海特级锦标赛A组败者赛 EHOME VS CDEC第二局
2016/02/25 DOTA
用实例解释Python中的继承和多态的概念
2015/04/27 Python
Python 获取指定文件夹下的目录和文件的实现
2019/08/30 Python
CSS3的 fit-content实现水平居中
2017/09/07 HTML / CSS
Dr. Martens马汀博士德国官网:马丁靴鼻祖
2019/12/26 全球购物
简述你对Statement,PreparedStatement,CallableStatement的理解
2013/03/25 面试题
会计的岗位职责
2014/03/15 职场文书
领导干部个人整改措施落实情况汇报
2014/10/29 职场文书
2014年卫生监督工作总结
2014/12/09 职场文书
2015年大学生入党自荐书
2015/03/24 职场文书
情人节单身感言
2015/08/03 职场文书
详解Redis瘦身指南
2021/05/26 Redis
Vue过滤器(filter)实现及应用场景详解
2021/06/15 Vue.js
SpringBoot集成MongoDB实现文件上传的步骤
2022/04/18 MongoDB
科学家测试在太空中培育人造肉,用于未来太空旅行
2022/04/29 数码科技