pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python网络编程学习笔记(八):XML生成与解析(DOM、ElementTree)
Jun 09 Python
Python实现的拉格朗日插值法示例
Jan 08 Python
Python参数解析模块sys、getopt、argparse使用与对比分析
Apr 02 Python
Django 静态文件配置过程详解
Jul 23 Python
TensorFlow 读取CSV数据的实例
Feb 05 Python
Django的ListView超详细用法(含分页paginate)
May 21 Python
Python Opencv图像处理基本操作代码详解
Aug 31 Python
Python进行特征提取的示例代码
Oct 15 Python
详解Python中如何将数据存储为json格式的文件
Nov 18 Python
Python3+Appium安装及Appium模拟微信登录方法详解
Feb 16 Python
python的scipy.stats模块中正态分布常用函数总结
Feb 19 Python
Python数据分析之pandas读取数据
Jun 02 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
解析php 版获取重定向后的地址(代码)
2013/06/26 PHP
PHP+Ajax验证码验证用户登录
2016/07/20 PHP
JavaScript入门教程(6) Window窗口对象
2009/01/31 Javascript
JavaScript 学习笔记(四)
2009/12/31 Javascript
js或者jquery判断图片是否加载完成实现代码
2013/03/20 Javascript
javascript解析json实例详解
2014/11/05 Javascript
Bootstrap每天必学之缩略图与警示窗
2015/11/29 Javascript
EasyUI的doCellTip实现鼠标放到单元格上提示单元格内容
2016/08/24 Javascript
JS如何生成一个不重复的ID的函数
2016/12/25 Javascript
nodejs接入阿里大鱼短信验证码的方法
2017/07/10 NodeJs
nodejs创建简易web服务器与文件读写的实例
2017/09/07 NodeJs
webpack+vue中使用别名路径引用静态图片地址
2017/11/20 Javascript
js实现坦克大战游戏
2020/02/24 Javascript
Python 开发Activex组件方法
2009/11/08 Python
python 快速排序代码
2009/11/23 Python
python解析文件示例
2014/01/23 Python
Python随机生成信用卡卡号的实现方法
2015/05/14 Python
python实现中文转换url编码的方法
2016/06/14 Python
深入理解Python装饰器
2016/07/27 Python
利用Python自动监控网站并发送邮件告警的方法
2016/08/24 Python
利用python实现简单的循环购物车功能示例代码
2017/07/05 Python
使用python实现knn算法
2017/12/20 Python
Pycharm 操作Django Model的简单运用方法
2018/05/23 Python
Python箱型图处理离群点的例子
2019/12/09 Python
浅谈PyQt5中异步刷新UI和Python多线程总结
2019/12/13 Python
将python包发布到PyPI和制作whl文件方式
2019/12/25 Python
python不相等的两个字符串的 if 条件判断为True详解
2020/03/12 Python
基于OpenCV的网络实时视频流传输的实现
2020/11/15 Python
使用css3制作登录表单的步骤
2014/04/07 HTML / CSS
Canvas 像素处理之改变透明度的实现代码
2019/01/08 HTML / CSS
NET程序员上机面试题
2015/05/23 面试题
如何写一份好的英文求职信
2014/03/19 职场文书
小学安全工作总结2015
2015/05/18 职场文书
HTML5简单实现添加背景音乐的几种方法
2021/05/12 HTML / CSS
MySQL5.7并行复制原理及实现
2021/06/03 MySQL
centos8安装MongoDB的详细过程
2021/10/24 MongoDB