pandas string转dataframe的方法


Posted in Python onApril 11, 2018

今天业务上碰到用pandas处理一个大文件的内存不够问题,需要做concat 合并多个文件,每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理,后面发现即使pandas内存问题解决了,用pickle做保存数据时也会提升内存不够的报错,后来把dataframe对象转化成string,发现内存占用减少了近一半。

所以打算用先转成string再dump到离线文件里,官网文档上只有to_string的说明,而从string转dataframe却没有提供直接的函数。

其实很简单,我们可以把string放到一个文件对象里,然后通过read_csv函数来创建dataframe对象。

import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")

以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的密码强度检测器示例
Aug 23 Python
Django中ORM表的创建和增删改查方法示例
Nov 15 Python
Python数据拟合与广义线性回归算法学习
Dec 22 Python
Python txt文件加入字典并查询的方法
Jan 15 Python
Python使用POP3和SMTP协议收发邮件的示例代码
Apr 16 Python
Django REST framework内置路由用法
Jul 26 Python
Django模板导入母版继承和自定义返回Html片段过程解析
Sep 18 Python
python pptx复制指定页的ppt教程
Feb 14 Python
Python Scrapy图片爬取原理及代码实例
Jun 12 Python
python实现学生管理系统开发
Jul 24 Python
Python LMDB库的使用示例
Feb 14 Python
如何使用Tkinter进行窗口的管理与设置
Jun 30 Python
Python实现统计给定列表中指定数字出现次数的方法
Apr 11 #Python
DataFrame中的object转换成float的方法
Apr 10 #Python
pandas object格式转float64格式的方法
Apr 10 #Python
python 处理dataframe中的时间字段方法
Apr 10 #Python
python调用API实现智能回复机器人
Apr 10 #Python
python读取文本中数据并转化为DataFrame的实例
Apr 10 #Python
python实现百度语音识别api
Apr 10 #Python
You might like
PHP 文件上传全攻略
2010/04/28 PHP
PHP输出一个等腰三角形的方法
2015/05/12 PHP
Zend Framework教程之Zend_Config_Xml用法分析
2016/03/23 PHP
Yii2 RESTful中api的使用及开发实例详解
2016/07/06 PHP
PHP操作MySQL中BLOB字段的方法示例【存储文本与图片】
2017/09/15 PHP
jquery checkbox,radio是否选中的判断代码
2010/03/20 Javascript
js监听输入框值的即时变化onpropertychange、oninput
2011/07/13 Javascript
JS获取各种宽度、高度的简单介绍
2014/12/19 Javascript
js实现遮罩层弹出框的方法
2015/01/15 Javascript
js代码验证手机号码和电话号码是否合法
2015/07/30 Javascript
jQuery实现手机自定义弹出输入框
2016/06/13 Javascript
JS中正则表达式只有3种匹配模式(没有单行模式)详解
2016/07/28 Javascript
使用 bootstrap modal遇到的问题小结
2016/11/09 Javascript
JavaScript中递归实现的方法及其区别
2017/09/12 Javascript
vue+Element中table表格实现可编辑(select下拉框)
2020/05/21 Javascript
微信小程序scroll-view实现滚动到锚点左侧导航栏点餐功能(点击种类,滚动到锚点)
2020/06/11 Javascript
jquery简易手风琴插件的封装
2020/10/13 jQuery
从零学Python之引用和类属性的初步理解
2014/05/15 Python
详解在Python程序中使用Cookie的教程
2015/04/30 Python
Python常见加密模块用法分析【MD5,sha,crypt模块】
2017/05/24 Python
python 对象和json互相转换方法
2018/03/22 Python
python3读取excel文件只提取某些行某些列的值方法
2018/07/10 Python
python+opencv实现霍夫变换检测直线
2020/10/23 Python
opencv实现静态手势识别 opencv实现剪刀石头布游戏
2019/01/22 Python
Python获取当前脚本文件夹(Script)的绝对路径方法代码
2019/08/27 Python
Django实现文件上传下载功能
2019/10/06 Python
美国护肤咨询及美容产品电商:Askderm
2017/02/24 全球购物
泰国折扣酒店预订:Hotels2Thailand
2018/03/20 全球购物
联想C++笔试题
2012/06/13 面试题
C#公司笔试题
2014/03/28 面试题
初中生自我评价
2014/02/01 职场文书
快餐公司创业计划书
2014/04/29 职场文书
爱岗敬业演讲稿
2014/05/05 职场文书
道歉的话怎么说
2015/05/12 职场文书
JPA如何使用entityManager执行SQL并指定返回类型
2021/06/15 Java/Android
JavaScript小技巧带你提升你的代码技能
2021/09/15 Javascript