pandas 快速处理 date_time 日期格式方法


Posted in Python onNovember 12, 2018

当数据很多,且日期格式不标准时的时候,如果pandas.to_datetime 函数使用不当,会使得处理时间变得很长,提升速度的关键在于format的使用。下面举例进行说明:

示例数据:

date 格式:02.01.2013 即 日.月.年

数据量:3000000

transcation.head()
---------------------------------------------
   date date_block_num shop_id item_id item_price item_cnt_day
0 02.01.2013    0  59 22154  999.00   1.0
1 03.01.2013    0  25  2552  899.00   1.0
2 05.01.2013    0  25  2552  899.00   -1.0
3 06.01.2013    0  25  2554  1709.05   1.0
4 15.01.2013    0  25  2555  1099.00   1.0

处理方式一:

transactions['date_formatted']=pd.to_datetime(transactions['date'])

处理时间: 10min

处理方式二:

transactions['date_formatted']=pd.to_datetime(transactions['date'], format='%d.%m.%Y')

处理时间:10s

附录:format相关

代码 说明
%Y 4位数的年
%y 2位数的年
%m 2位数的月[01,12]
%d 2位数的日[01,31]
%H 时(24小时制)[00,23]
%l 时(12小时制)[01,12]
%M 2位数的分[00,59]
%S 秒[00,61]有闰秒的存在
%w 用整数表示的星期几[0(星期天),6]
%F %Y-%m-%d简写形式例如,2017-06-27
%D %m/%d/%y简写形式

以上这篇pandas 快速处理 date_time 日期格式方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
通过Python爬虫代理IP快速增加博客阅读量
Dec 14 Python
itchat和matplotlib的结合使用爬取微信信息的实例
Aug 25 Python
PyCharm 常用快捷键和设置方法
Dec 20 Python
python3实现163邮箱SMTP发送邮件
May 22 Python
python and or用法详解
Jun 26 Python
Python绘制频率分布直方图的示例
Jul 08 Python
python实现人机猜拳小游戏
Feb 03 Python
Python如何访问字符串中的值
Feb 09 Python
解决python中import文件夹下面py文件报错问题
Jun 01 Python
Python3获取cookie常用三种方案
Oct 05 Python
python3中TQDM库安装及使用详解
Nov 18 Python
AI:如何训练机器学习的模型
Apr 16 Python
python内置数据类型之列表操作
Nov 12 #Python
python pandas读取csv后,获取列标签的方法
Nov 12 #Python
对pandas的行列名更改与数据选择详解
Nov 12 #Python
Python numpy.array()生成相同元素数组的示例
Nov 12 #Python
浅谈numpy生成数组的零值问题
Nov 12 #Python
python生成多个只含0,1元素的随机数组或列表的实例
Nov 12 #Python
python 构造三维全零数组的方法
Nov 12 #Python
You might like
PHP 使用header函数设置HTTP头的示例解析 表头
2013/06/17 PHP
浅析PHP中的UNICODE 编码与解码
2013/06/29 PHP
php设置静态内容缓存时间的方法
2014/12/01 PHP
php实现源代码加密的方法
2015/07/11 PHP
Javascript 获取链接(url)参数的方法
2009/02/15 Javascript
围观tangram js库
2010/12/28 Javascript
jquery插件珍藏(图片局部放大/信息提示框)
2013/01/08 Javascript
Jquery中children与find之间的区别详细解析
2013/11/29 Javascript
jQuery实现简单的文件上传进度条效果
2020/03/26 Javascript
vue2.0的contextmenu右键弹出菜单的实例代码
2017/07/24 Javascript
Nodejs对postgresql基本操作的封装方法
2019/02/20 NodeJs
jQuery实现聊天对话框
2020/02/08 jQuery
编写Python脚本来获取mp3文件tag信息的教程
2015/05/04 Python
Python微信企业号开发之回调模式接收微信端客户端发送消息及被动返回消息示例
2017/08/21 Python
Python3中类、模块、错误与异常、文件的简易教程
2017/11/20 Python
hmac模块生成加入了密钥的消息摘要详解
2018/01/11 Python
Python之reload流程实例代码解析
2018/01/29 Python
python kmeans聚类简单介绍和实现代码
2018/02/23 Python
python爬虫的数据库连接问题【推荐】
2018/06/25 Python
python+numpy按行求一个二维数组的最大值方法
2019/07/09 Python
python如何求数组连续最大和的示例代码
2020/02/04 Python
python烟花效果的代码实例
2020/02/25 Python
python3 使用traceback定位异常实例
2020/03/09 Python
Python全局变量与global关键字常见错误解决方案
2020/10/05 Python
HTML5调用手机摄像头拍照的实现思路及代码
2014/06/15 HTML / CSS
加拿大便宜的隐形眼镜商店:Clearly
2016/09/15 全球购物
美国在线购买和出售礼品卡网站:EJ Gift Cards
2019/06/09 全球购物
英国办公家具网站:Furniture At Work
2019/10/07 全球购物
英国设计师珠宝网站:Joshua James Jewellery
2020/03/01 全球购物
教育技术学专业职业规划书
2014/03/03 职场文书
公司股份转让协议书范本
2015/01/28 职场文书
电影雨中的树观后感
2015/06/15 职场文书
JavaScript中document.activeELement焦点元素介绍
2021/11/27 Javascript
python lambda 表达式形式分析
2022/04/03 Python
Python基本的内置数据类型及使用方法
2022/04/13 Python
JS前端使用Canvas快速实现手势解锁特效
2022/09/23 Javascript