pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之Import 模块
Oct 13 Python
Python中使用语句导入模块或包的机制研究
Mar 30 Python
在Python中使用模块的教程
Apr 27 Python
python3中函数参数的四种简单用法
Jul 09 Python
在Python中关于使用os模块遍历目录的实现方法
Jan 03 Python
解决Django连接db遇到的问题
Aug 29 Python
基于python实现把图片转换成素描
Nov 13 Python
使用python动态生成波形曲线的实现
Dec 04 Python
Pytorch实现基于CharRNN的文本分类与生成示例
Jan 08 Python
Python使用多进程运行含有任意个参数的函数
May 02 Python
Django 解决上传文件时,request.FILES为空的问题
May 20 Python
使用jupyter notebook运行python和R的步骤
Aug 13 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
PHP 图像尺寸调整代码
2010/05/26 PHP
Thinkphp中的volist标签用法简介
2014/06/18 PHP
YII动态模型(动态表名)支持分析
2016/03/29 PHP
ThinkPHP5与单元测试PHPUnit使用详解
2020/02/23 PHP
php设计模式之适配器模式实例分析【星际争霸游戏案例】
2020/04/07 PHP
javascript一些不错的函数脚本代码
2008/09/10 Javascript
PHP 与 js的通信(via ajax,json)
2010/11/16 Javascript
js操作CheckBoxList实现全选/反选(在客服端完成)
2013/02/02 Javascript
将字符串中由空格隔开的每个单词首字母大写
2014/04/06 Javascript
js 调用百度地图api并在地图上进行打点添加标注
2014/05/13 Javascript
浅析基于WEB前端页面的页面内容搜索的实现思路
2014/06/10 Javascript
JavaScript中实现map功能代码分享
2015/06/11 Javascript
浅析$.getJSON异步请求和同步请求
2016/06/06 Javascript
原生js轮播(仿慕课网)
2017/02/15 Javascript
Vue.js路由实现选项卡简单实例
2019/07/24 Javascript
零基础写python爬虫之抓取百度贴吧代码分享
2014/11/06 Python
python微信跳一跳系列之棋子定位颜色识别
2018/02/26 Python
Python输入二维数组方法
2018/04/13 Python
python实现飞机大战微信小游戏
2020/03/21 Python
python matplotlib画图库学习绘制常用的图
2019/03/19 Python
Django框架会话技术实例分析【Cookie与Session】
2019/05/24 Python
应用OpenCV和Python进行SIFT算法的实现详解
2019/08/21 Python
python 协程中的迭代器,生成器原理及应用实例详解
2019/10/28 Python
Python&&GDAL实现NDVI的计算方式
2020/01/09 Python
Python Websocket服务端通信的使用示例
2020/02/25 Python
pycharm如何设置官方中文(如何汉化)
2020/12/29 Python
用CSS3的box-reflect设置文字倒影效果的方法讲解
2016/03/07 HTML / CSS
CSS3+JavaScript实现炫酷呼吸效果的示例代码
2020/06/15 HTML / CSS
家乐福台湾线上购物网:Carrefour台湾
2020/09/15 全球购物
W Hamond官网:始于1979年的钻石专家
2020/07/20 全球购物
街道党工委党的群众路线教育实践活动对照检查材料思想汇报
2014/10/05 职场文书
缓存替换策略及应用(以Redis、InnoDB为例)
2021/07/25 Redis
mongodb数据库迁移变更的解决方案
2021/09/04 MongoDB
浅谈Redis的keys命令到底有多慢
2021/10/05 Redis
Android开发手册Chip监听及ChipGroup监听
2022/06/10 Java/Android
ubuntu端向日葵键盘输入卡顿问题及解决
2022/12/24 Servers