pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
简单介绍Python2.x版本中的cmp()方法的使用
May 20 Python
python实现字符串连接的三种方法及其效率、适用场景详解
Jan 13 Python
Python使用三种方法实现PCA算法
Dec 12 Python
TensorFlow中权重的随机初始化的方法
Feb 11 Python
对python创建及引用动态变量名的示例讲解
Nov 10 Python
python变量的存储原理详解
Jul 10 Python
Python3并发写文件与Python对比
Nov 20 Python
pip安装tensorflow的坑的解决
Apr 19 Python
查看keras各种网络结构各层的名字方式
Jun 11 Python
Windows下Sqlmap环境安装教程详解
Aug 04 Python
python七种方法判断字符串是否包含子串
Aug 18 Python
Python可视化神器pyecharts之绘制地理图表练习
Jul 07 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
phpmyadmin里面导入sql语句格式的大量数据的方法
2010/06/05 PHP
常用的PHP数据库操作方法(MYSQL版)
2011/06/08 PHP
关于php程序报date()警告的处理(date_default_timezone_set)
2013/10/22 PHP
php获取数据库结果集方法(推荐)
2017/06/01 PHP
PHP实现执行外部程序的方法详解
2017/08/17 PHP
关于图片验证码设计的思考
2007/01/29 Javascript
xml转json的js代码
2012/08/28 Javascript
浅析jQuery(function(){})与(function(){})(jQuery)之间的区别
2014/01/09 Javascript
javascript中for/in循环及使用技巧
2015/09/01 Javascript
IScroll5 中文API参数说明和调用方法
2016/05/21 Javascript
JavaScript中利用for循环遍历数组
2017/01/15 Javascript
JavaScript中transform实现数字翻页效果
2017/03/08 Javascript
用js实现每隔一秒刷新时间的实例(含年月日时分秒)
2017/10/25 Javascript
Vue使用Canvas绘制图片、矩形、线条、文字,下载图片
2019/04/26 Javascript
javascript实现日历效果
2019/06/17 Javascript
vue-cli3跨域配置的简单方法
2019/09/06 Javascript
JS+CSS实现3D切割轮播图
2020/03/21 Javascript
vue 使用post/get 下载导出文件操作
2020/08/07 Javascript
跟老齐学Python之传说中的函数编写条规
2014/10/11 Python
python实现ipsec开权限实例
2014/11/11 Python
python3获取当前文件的上一级目录实例
2018/04/26 Python
Python代码实现删除一个list里面重复元素的方法
2019/04/02 Python
Appium+python自动化怎么查看程序所占端口号和IP
2019/06/14 Python
Python实现的微信红包提醒功能示例
2019/08/22 Python
PyTorch预训练的实现
2019/09/18 Python
Python字符串格式化常用手段及注意事项
2020/06/17 Python
Python实现树莓派摄像头持续录像并传送到主机的步骤
2020/11/30 Python
基于Python-Pycharm实现的猴子摘桃小游戏(源代码)
2021/02/20 Python
使用css3和jquery实现可伸缩搜索框
2014/02/12 HTML / CSS
挪威户外活动服装和装备购物网站:Bergfreunde挪威
2016/10/20 全球购物
一名毕业生的自我鉴定
2013/12/04 职场文书
毕业生自荐书模版
2014/01/04 职场文书
安全生产先进个人事迹材料
2014/12/30 职场文书
夏洛特的网观后感
2015/06/15 职场文书
党员干部学习心得体会
2016/01/23 职场文书
实习报告范文之电话客服岗位
2019/07/26 职场文书