对python中大文件的导入与导出方法详解


Posted in Python onDecember 28, 2018

1、csv文件的导入和导出

通过一个矩阵导出为csv文件,将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',')

未完待续。。。

也可以使用pickle模块,保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])

注解:将对象obj保存到文件file中去。

protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

pickle.load(file)

注解:从file中读取一个字符串,并将它重构为原来的python对象。

file:类文件对象,有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加:将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
go和python调用其它程序并得到程序输出
Feb 10 Python
Windows下python2.7.8安装图文教程
May 26 Python
Python 基于Twisted框架的文件夹网络传输源码
Aug 28 Python
pycharm+django创建一个搜索网页实例代码
Jan 24 Python
python分割一个文本为多个文本的方法
Jul 22 Python
Python 3.6打包成EXE可执行程序的实现
Oct 18 Python
Python如何基于selenium实现自动登录博客园
Dec 16 Python
Python Tkinter Entry和Text的添加与使用详解
Mar 04 Python
win10从零安装配置pytorch全过程图文详解
May 08 Python
浅谈多卡服务器下隐藏部分 GPU 和 TensorFlow 的显存使用设置
Jun 30 Python
Jupyter notebook命令和编辑模式常用快捷键汇总
Nov 17 Python
python实现视频压缩功能
Dec 18 Python
Python编程深度学习计算库之numpy
Dec 28 #Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 #Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
Dec 28 #Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 #Python
Python编程深度学习绘图库之matplotlib
Dec 28 #Python
对pandas写入读取h5文件的方法详解
Dec 28 #Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
You might like
PHP+jQuery 注册模块开发详解
2014/10/14 PHP
laravel框架使用FormRequest进行表单验证,验证异常返回JSON操作示例
2020/02/18 PHP
javascrip客户端验证文件大小及文件类型并重置上传
2011/01/12 Javascript
JSON语法五大要素图文介绍
2012/12/04 Javascript
gulp-uglify 与gulp.watch()配合使用时报错(重复压缩问题)
2016/08/24 Javascript
Angular.js初始化之ng-app的自动绑定与手动绑定详解
2017/07/31 Javascript
浅谈Vue.js中的v-on(事件处理)
2017/09/05 Javascript
React 组件转 Vue 组件的命令写法
2018/02/28 Javascript
Vue Element 分组+多选+可搜索Select选择器实现示例
2018/07/23 Javascript
vue组件挂载到全局方法的示例代码
2018/08/02 Javascript
解决vue-cli webpack打包开启Gzip 报错问题
2019/07/24 Javascript
微信小程序云开发获取文件夹下所有文件(推荐)
2019/11/14 Javascript
解决基于 keep-alive 的后台多级路由缓存问题
2020/12/23 Javascript
vue实现登录、注册、退出、跳转等功能
2020/12/23 Vue.js
Python的Twisted框架上手前所必须了解的异步编程思想
2016/05/25 Python
基于asyncio 异步协程框架实现收集B站直播弹幕
2016/09/11 Python
python中实现指定时间调用函数示例代码
2017/09/08 Python
Python 类的私有属性和私有方法实例分析
2019/09/29 Python
python入门之基础语法学习笔记
2020/02/08 Python
python 解决tqdm模块不能单行显示的问题
2020/02/19 Python
Python selenium页面加载慢超时的解决方案
2020/03/18 Python
Charlotte Tilbury澳大利亚官网:英国美妆品牌
2018/10/05 全球购物
ZINVO手表官网:男士和女士手表
2019/03/10 全球购物
教育孩子心得体会
2014/01/01 职场文书
保安的辞职报告怎么写
2014/01/20 职场文书
求职毕业生自荐书
2014/02/08 职场文书
《蓝色的树叶》教学反思
2014/02/24 职场文书
幼教求职信
2014/03/12 职场文书
招股说明书范本
2014/05/06 职场文书
松材线虫病防治方案
2014/06/15 职场文书
活动总结结尾怎么写
2014/08/30 职场文书
出纳工作检讨书范文
2014/12/27 职场文书
比较node.js和Deno
2021/04/27 Javascript
spring项目中切面及AOP的使用方法
2021/06/26 Java/Android
详解pytorch创建tensor函数
2022/03/22 Python
Python实现猜拳与猜数字游戏的方法详解
2022/04/06 Python