对python中大文件的导入与导出方法详解


Posted in Python onDecember 28, 2018

1、csv文件的导入和导出

通过一个矩阵导出为csv文件,将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',')

未完待续。。。

也可以使用pickle模块,保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])

注解:将对象obj保存到文件file中去。

protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

pickle.load(file)

注解:从file中读取一个字符串,并将它重构为原来的python对象。

file:类文件对象,有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加:将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 数据加密代码
Dec 24 Python
解决Python出现_warn_unsafe_extraction问题的方法
Mar 24 Python
Linux(Redhat)安装python3.6虚拟环境(推荐)
May 05 Python
python实现爬取图书封面
Jul 05 Python
详解python异步编程之asyncio(百万并发)
Jul 07 Python
对python3中, print横向输出的方法详解
Jan 28 Python
决策树剪枝算法的python实现方法详解
Sep 18 Python
python运用sklearn实现KNN分类算法
Oct 16 Python
python字符串格式化方式解析
Oct 19 Python
Python 给下载文件显示进度条和下载时间的实现
Apr 02 Python
Python搭建Keras CNN模型破解网站验证码的实现
Apr 07 Python
基于Python中Remove函数的用法讨论
Dec 11 Python
Python编程深度学习计算库之numpy
Dec 28 #Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 #Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
Dec 28 #Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 #Python
Python编程深度学习绘图库之matplotlib
Dec 28 #Python
对pandas写入读取h5文件的方法详解
Dec 28 #Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
You might like
Yii框架组件和事件行为管理详解
2016/05/20 PHP
PHP异常处理定义与使用方法分析
2017/07/25 PHP
php连接MSsql server的五种方法总结
2018/03/04 PHP
laravel5环境隐藏index.php后缀(apache)的方法
2019/10/12 PHP
基于PHP实现用户登录注册功能的详细教程
2020/08/04 PHP
非常好的js代码
2006/06/27 Javascript
基于jquery的关于动态创建DOM元素的问题
2010/12/24 Javascript
jQuery Ajax 仿AjaxPro.Utility.RegisterTypeForAjax辅助方法
2011/09/27 Javascript
jquery中ajax学习笔记4
2011/10/16 Javascript
JS将光标聚焦在文本最后的实现代码
2014/03/28 Javascript
node-webkit打包成exe文件被360误报木马的解决方法
2015/03/11 Javascript
javascript实现画不相交的圆
2015/04/07 Javascript
JavaScript来实现打开链接页面的简单实例
2016/06/02 Javascript
jQuery自制提示框tooltip改进版
2016/08/01 Javascript
浅谈Node.js:理解stream
2016/12/08 Javascript
Angular2 之 路由与导航详细介绍
2017/05/26 Javascript
前端主流框架vue学习笔记第二篇
2017/07/26 Javascript
聊聊Vue.js的template编译的问题
2017/10/09 Javascript
vue封装一个简单的div框选时间的组件的方法
2019/01/06 Javascript
Python向日志输出中添加上下文信息
2017/05/24 Python
python面向对象_详谈类的继承与方法的重载
2017/06/07 Python
TensorFlow在MAC环境下的安装及环境搭建
2017/11/14 Python
使用Python进行QQ批量登录的实例代码
2018/06/11 Python
python 批量修改/替换数据的实例
2018/07/25 Python
Python中new方法的详解
2019/01/15 Python
在Python中调用Ping命令,批量IP的方法
2019/01/26 Python
解决导入django_filters不成功问题No module named 'django_filter'
2020/07/15 Python
Scrapy实现模拟登录的示例代码
2021/02/21 Python
基于Html5 canvas实现裁剪图片和马赛克功能及又拍云上传图片 功能
2019/07/09 HTML / CSS
巴基斯坦电子产品购物网站:Home Shopping
2017/09/14 全球购物
万年牢教学反思
2014/02/15 职场文书
党的群众路线教育实践活动心得体会
2014/03/03 职场文书
农业开发项目建议书
2014/05/16 职场文书
技术入股合作协议书
2014/10/07 职场文书
WCG2010 星际争霸决赛 Flash vs Goojila 1 星际经典比赛回顾
2022/04/01 星际争霸
详解Flutter自定义应用程序内键盘的实现方法
2022/06/14 Java/Android