pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python之str操作方法(详解)
Jun 19 Python
python使用pyqt写带界面工具的示例代码
Oct 23 Python
python3中获取文件当前绝对路径的两种方法
Apr 26 Python
Python实现监控键盘鼠标操作示例【基于pyHook与pythoncom模块】
Sep 04 Python
Python3实现对列表按元组指定列进行排序的方法分析
Dec 22 Python
python学生管理系统学习笔记
Mar 19 Python
解析PyCharm Python运行权限问题
Jan 08 Python
详解Pycharm出现out of memory的终极解决方法
Mar 03 Python
Python分析微信好友性别比例和省份城市分布比例的方法示例【基于itchat模块】
May 29 Python
用Python实现职工信息管理系统
Dec 30 Python
Python 机器学习工具包SKlearn的安装与使用
May 14 Python
浅谈Python从全局与局部变量到装饰器的相关知识
Jun 21 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
android上传图片到PHP的过程详解
2015/08/03 PHP
PHP如何通过传引用的思想实现无限分类(代码简单)
2015/10/13 PHP
PHP框架Laravel插件Pagination实现自定义分页
2020/04/22 PHP
PHP接收App端发送文件流的方法
2016/09/23 PHP
Laravel框架使用Seeder实现自动填充数据功能
2018/06/13 PHP
javascript事件问题
2009/09/05 Javascript
DIV菜单层实现代码
2010/11/19 Javascript
JS操作iframe里的dom(实例讲解)
2014/01/29 Javascript
jquery获取一个元素下面相同子元素的个数代码
2014/07/31 Javascript
AngularJS iframe跨域打开内容时报错误的解决办法
2015/01/26 Javascript
JS模拟实现Select效果代码
2015/09/24 Javascript
基于jQuery 实现bootstrapValidator下的全局验证
2015/12/07 Javascript
js+flash实现的5图变换效果广告代码(附演示与demo源码下载)
2016/04/01 Javascript
AngularJS入门教程之路由与多视图详解
2016/08/19 Javascript
一步一步封装自己的HtmlHelper组件BootstrapHelper(二)
2016/09/14 Javascript
js中用cssText设置css样式的简单方法
2016/09/19 Javascript
Vue2.0基于vue-cli+webpack父子组件通信(实例讲解)
2017/09/14 Javascript
详解Vue 事件修饰符capture 的使用
2017/12/29 Javascript
如何在vue里面优雅的解决跨域(路由冲突问题)
2019/01/20 Javascript
Node.js 在本地生成日志文件的方法
2020/02/07 Javascript
JavaScript实现移动端带transition动画的轮播效果
2020/03/24 Javascript
vue 百度地图(vue-baidu-map)绘制方向箭头折线实例代码详解
2020/04/28 Javascript
python列表与元组详解实例
2013/11/01 Python
python正则匹配查询港澳通行证办理进度示例分享
2013/12/27 Python
python基于itchat实现微信群消息同步机器人
2017/02/27 Python
彻底理解Python list切片原理
2017/10/27 Python
python自动截取需要区域,进行图像识别的方法
2018/05/17 Python
python和shell获取文本内容的方法
2018/06/05 Python
python射线法判断检测点是否位于区域外接矩形内
2019/06/28 Python
Python绘制动态水球图过程详解
2020/06/03 Python
Python生成并下载文件后端代码实例
2020/08/31 Python
extern在函数声明中是什么意思
2014/01/19 面试题
什么是聚集索引和非聚集索引
2012/01/17 面试题
个人现实表现材料
2014/02/04 职场文书
个人剖析材料及整改措施
2014/10/07 职场文书
经验交流材料格式
2014/12/30 职场文书