pandas string转dataframe的方法


Posted in Python onApril 11, 2018

今天业务上碰到用pandas处理一个大文件的内存不够问题,需要做concat 合并多个文件,每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理,后面发现即使pandas内存问题解决了,用pickle做保存数据时也会提升内存不够的报错,后来把dataframe对象转化成string,发现内存占用减少了近一半。

所以打算用先转成string再dump到离线文件里,官网文档上只有to_string的说明,而从string转dataframe却没有提供直接的函数。

其实很简单,我们可以把string放到一个文件对象里,然后通过read_csv函数来创建dataframe对象。

import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")

以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
如何在python中使用selenium的示例
Dec 26 Python
python3+PyQt5+Qt Designer实现扩展对话框
Apr 20 Python
使用python脚本实现查询火车票工具
Jul 19 Python
Python中的Numpy矩阵操作
Aug 12 Python
pandas.dataframe按行索引表达式选取方法
Oct 30 Python
Python XML转Json之XML2Dict的使用方法
Jan 15 Python
numpy ndarray 按条件筛选数组,关联筛选的例子
Nov 26 Python
python自动识别文本编码格式代码
Dec 26 Python
Python使用Selenium实现淘宝抢单的流程分析
Jun 23 Python
python 实现简单的计算器(gui界面)
Nov 11 Python
python re.match()用法相关示例
Jan 27 Python
python 爬取腾讯视频评论的实现步骤
Feb 18 Python
Python实现统计给定列表中指定数字出现次数的方法
Apr 11 #Python
DataFrame中的object转换成float的方法
Apr 10 #Python
pandas object格式转float64格式的方法
Apr 10 #Python
python 处理dataframe中的时间字段方法
Apr 10 #Python
python调用API实现智能回复机器人
Apr 10 #Python
python读取文本中数据并转化为DataFrame的实例
Apr 10 #Python
python实现百度语音识别api
Apr 10 #Python
You might like
ThinkPHP采用实现三级循环代码实例
2014/07/18 PHP
php读取文件内容的方法汇总
2015/01/24 PHP
Yii获取当前url和域名的方法
2015/06/08 PHP
PHP输出缓冲控制Output Control系列函数详解
2015/07/02 PHP
用jquery模仿的a的title属性(兼容ie6/7)
2013/01/21 Javascript
js导出table数据到excel即导出为EXCEL文档的方法
2013/10/10 Javascript
JavaScript中的包装对象介绍
2015/01/27 Javascript
jquery自定义右键菜单、全选、不连续选择
2016/03/01 Javascript
js数组的五种迭代方法及两种归并方法(推荐)
2016/06/14 Javascript
JS字符串false转boolean的方法(推荐)
2017/03/08 Javascript
vue监听对象及对象属性问题
2018/08/20 Javascript
js的各种数据类型判断的介绍
2019/01/19 Javascript
JS实现可视化音频效果的实例代码
2020/01/16 Javascript
[35:55]完美世界DOTA2联赛PWL S3 Rebirth vs CPG 第一场 12.11
2020/12/13 DOTA
利用Python中的mock库对Python代码进行模拟测试
2015/04/16 Python
教大家使用Python SqlAlchemy
2016/02/12 Python
pyqt 实现QlineEdit 输入密码显示成圆点的方法
2019/06/24 Python
Python注释、分支结构、循环结构、伪“选择结构”用法实例分析
2020/01/09 Python
python GUI库图形界面开发之PyQt5布局控件QGridLayout详细使用方法与实例
2020/03/06 Python
python Tornado框架的使用示例
2020/10/19 Python
Python实现壁纸下载与轮换
2020/10/19 Python
CSS3中background-clip和background-origin的区别示例介绍
2014/03/10 HTML / CSS
荷兰包包购物网站:The Little Green Bag
2018/03/17 全球购物
名词解释型面试题(主要是网络)
2013/12/27 面试题
建筑工程专业学生的自我评价
2013/12/25 职场文书
将相和教学反思
2014/02/04 职场文书
主管竞聘书范文
2014/03/31 职场文书
2014年勤工助学工作总结
2014/11/24 职场文书
2014年电话客服工作总结
2014/12/09 职场文书
课外活动总结
2015/02/04 职场文书
财务工作失误检讨书
2015/02/19 职场文书
讲座开场白台词和结束语
2015/05/29 职场文书
大学迎新生的欢迎词
2019/06/25 职场文书
CSS3实现的文字弹出特效
2021/04/16 HTML / CSS
pytorch 预训练模型读取修改相关参数的填坑问题
2021/06/05 Python
MySQL中连接查询和子查询的问题
2021/09/04 MySQL