pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现的一只从百度开始不断搜索的小爬虫
Aug 13 Python
Python学生信息管理系统修改版
Mar 13 Python
Python实现获取前100组勾股数的方法示例
May 04 Python
java中两个byte数组实现合并的示例
May 09 Python
Python网页正文转换语音文件的操作方法
Dec 09 Python
用python爬取租房网站信息的代码
Dec 14 Python
python中pytest收集用例规则与运行指定用例详解
Jun 27 Python
详解一种用django_cache实现分布式锁的方式
Sep 01 Python
Python实现图片裁剪的两种方式(Pillow和OpenCV)
Oct 30 Python
在Django中实现添加user到group并查看
Nov 18 Python
python怎么判断模块安装完成
Jun 19 Python
Python爬虫实例——爬取美团美食数据
Jul 15 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
先进的自动咖啡技术,真的可以取代咖啡师吗?
2021/03/06 冲泡冲煮
投票管理程序
2006/10/09 PHP
基于PHP创建Cookie数组的详解
2013/07/03 PHP
PHP二维数组排序的3种方法和自定义函数分享
2014/04/09 PHP
PHP基于yii框架实现生成ICO图标
2015/11/13 PHP
PHP PDOStatement::columnCount讲解
2019/01/30 PHP
PHP asXML()函数讲解
2019/02/03 PHP
laravel 修改.htaccess文件 重定向public的解决方法
2019/10/12 PHP
Laravel框架下载,安装及路由操作图文详解
2019/12/04 PHP
jQuery 选择器理解
2010/03/16 Javascript
基于JQuery的cookie插件
2010/04/07 Javascript
Javascript模块化编程详解
2014/12/01 Javascript
jQuery对象与DOM对象转换方法详解
2016/05/10 Javascript
原生js实现无缝轮播图效果
2017/01/11 Javascript
简单实现js悬浮导航效果
2017/02/05 Javascript
详解使用vue-router进行页面切换时滚动条位置与滚动监听事件
2017/03/08 Javascript
微信小程序 rich-text的使用方法
2017/08/04 Javascript
nodejs分离html文件里面的js和css的方法
2019/04/09 NodeJs
JS实现4位随机验证码
2020/10/19 Javascript
[08:02]DOTA2牵红线 zhou神抱得美人归
2014/03/22 DOTA
python中redis的安装和使用
2016/12/04 Python
深入浅出分析Python装饰器用法
2017/07/28 Python
微信跳一跳辅助python代码实现
2018/01/05 Python
Python实现语音识别和语音合成功能
2019/09/20 Python
win10环境下配置vscode python开发环境的教程详解
2019/10/16 Python
python加载自定义词典实例
2019/12/06 Python
努比亚手机官网:nubia
2016/10/06 全球购物
全球最大的在线橄榄球商店:Lovell Rugby
2018/05/20 全球购物
卡骆驰德国官方网站:Crocs德国
2019/03/29 全球购物
匡威爱尔兰官网:Converse爱尔兰
2019/06/09 全球购物
美国肌肉和力量商店:Muscle & Strength
2019/06/22 全球购物
武汉东之林科技有限公司机试
2013/09/17 面试题
大学生饮食配送创业计划书
2014/01/04 职场文书
刑事附带民事代理词
2015/05/25 职场文书
2016年乡镇七一建党节活动总结
2016/04/05 职场文书
JavaScript 去重和重复次数统计
2021/03/31 Javascript