对python中大文件的导入与导出方法详解


Posted in Python onDecember 28, 2018

1、csv文件的导入和导出

通过一个矩阵导出为csv文件,将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',')

未完待续。。。

也可以使用pickle模块,保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])

注解:将对象obj保存到文件file中去。

protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

pickle.load(file)

注解:从file中读取一个字符串,并将它重构为原来的python对象。

file:类文件对象,有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加:将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中顺序表的实现简单代码分享
Jan 09 Python
好的Python培训机构应该具备哪些条件
May 23 Python
关于PyTorch源码解读之torchvision.models
Aug 17 Python
python中Lambda表达式详解
Nov 20 Python
python输出数组中指定元素的所有索引示例
Dec 06 Python
Jupyter加载文件的实现方法
Apr 14 Python
Python学习之路安装pycharm的教程详解
Jun 17 Python
django序列化时使用外键的真实值操作
Jul 15 Python
Python2.6版本pip安装步骤解析
Aug 17 Python
python 深度学习中的4种激活函数
Sep 18 Python
python 对象真假值的实例(哪些视为False)
Dec 11 Python
python中str内置函数用法总结
Dec 27 Python
Python编程深度学习计算库之numpy
Dec 28 #Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 #Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
Dec 28 #Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 #Python
Python编程深度学习绘图库之matplotlib
Dec 28 #Python
对pandas写入读取h5文件的方法详解
Dec 28 #Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
You might like
php select,radio和checkbox默认选择的实现方法
2010/05/15 PHP
PHP遍历某个目录下的所有文件和子文件夹的实现代码
2013/06/28 PHP
php批量更改数据库表前缀实现方法
2013/10/26 PHP
详解PHP中strlen和mb_strlen函数的区别
2014/03/07 PHP
Yii获取当前url和域名的方法
2015/06/08 PHP
php定期拉取数据对比方法实例
2019/09/22 PHP
PHP实现微信公众号验证Token的示例代码
2019/12/16 PHP
Laravel框架源码解析之模型Model原理与用法解析
2020/05/14 PHP
人人网javascript面试题 可以提前实现下
2012/01/05 Javascript
基于js disabled="false"不起作用的解决办法
2013/06/26 Javascript
基于jquery的simpleValidate简易验证插件
2014/01/31 Javascript
javascript + jquery实现定时修改文章标题
2014/03/19 Javascript
jQuery中prependTo()方法用法实例
2015/01/08 Javascript
JS实现超简单的仿QQ折叠菜单效果
2015/09/21 Javascript
javascript实现不同颜色Tab标签切换效果
2016/04/27 Javascript
基于jQuery实现动态搜索显示功能
2016/05/05 Javascript
js 弹出对话框(遮罩)透明,可拖动的简单实例
2016/07/11 Javascript
Angularjs实现下拉框联动的示例代码
2017/08/22 Javascript
js实现轮播图的两种方式(构造函数、面向对象)
2017/09/30 Javascript
Vue实战之vue登录验证的实现代码
2017/10/31 Javascript
彻底理解js面向对象之继承
2018/02/04 Javascript
angular的输入和输出的使用方法
2018/09/22 Javascript
Python爬虫常用小技巧之设置代理IP
2018/09/13 Python
详解将Pandas中的DataFrame类型转换成Numpy中array类型的三种方法
2019/07/06 Python
Anaconda 查看、创建、管理和使用python环境的方法
2019/12/03 Python
HTML5语音识别标签写法附图
2013/11/18 HTML / CSS
英国自行车商店:AW Cycles
2021/02/24 全球购物
htmlentities() 和 htmlspecialchars()有什么区别
2015/07/01 面试题
接口的多继承会带来哪些问题
2015/08/17 面试题
给同学的道歉信
2014/01/16 职场文书
《沙漠中的绿洲》教学反思
2014/04/24 职场文书
产品生产计划书
2014/05/07 职场文书
欢迎领导检查标语
2014/06/27 职场文书
夫妻房产协议书的格式
2014/10/11 职场文书
暂停营业通知
2015/04/25 职场文书
简爱电影观后感
2015/06/10 职场文书