对python中大文件的导入与导出方法详解


Posted in Python onDecember 28, 2018

1、csv文件的导入和导出

通过一个矩阵导出为csv文件,将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',')

未完待续。。。

也可以使用pickle模块,保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])

注解:将对象obj保存到文件file中去。

protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

pickle.load(file)

注解:从file中读取一个字符串,并将它重构为原来的python对象。

file:类文件对象,有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加:将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
将Python中的数据存储到系统本地的简单方法
Apr 11 Python
Python使用爬虫猜密码
Feb 19 Python
Python基本语法经典教程
Mar 11 Python
详解Python文本操作相关模块
Jun 22 Python
Python列表和元组的定义与使用操作示例
Jul 26 Python
对python3中, print横向输出的方法详解
Jan 28 Python
python opencv将图片转为灰度图的方法示例
Jul 31 Python
python 矢量数据转栅格数据代码实例
Sep 30 Python
python分别打包出32位和64位应用程序
Feb 18 Python
Python tkinter布局与按钮间距设置方式
Mar 04 Python
Django实现列表页商品数据返回教程
Apr 03 Python
Pytorch中Softmax和LogSoftmax的使用详解
Jun 05 Python
Python编程深度学习计算库之numpy
Dec 28 #Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 #Python
pandas 把数据写入txt文件每行固定写入一定数量的值方法
Dec 28 #Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
Dec 28 #Python
Python编程深度学习绘图库之matplotlib
Dec 28 #Python
对pandas写入读取h5文件的方法详解
Dec 28 #Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
You might like
PHP远程连接MYSQL数据库非常慢的解决方法
2008/07/05 PHP
linux iconv方法的使用
2011/10/01 PHP
PHP swfupload图片上传的实例代码
2013/09/30 PHP
[原创]php获取数组中键值最大数组项的索引值
2015/03/17 PHP
Javascript读取cookie函数代码
2010/10/16 Javascript
javascript获得服务器端控件的ID的实现代码
2011/12/28 Javascript
jQuery中读取json文件示例代码
2013/05/10 Javascript
jquery实现的鼠标下拉滚动置顶效果
2014/07/24 Javascript
JavaScript静态类型检查工具FLOW简介
2015/01/06 Javascript
JavaScript面向对象的实现方法小结
2015/04/14 Javascript
AngularJS基础知识笔记之过滤器
2015/05/10 Javascript
JavaScript数组对象赋值用法实例
2015/08/04 Javascript
JavaScript与jQuery实现的闪烁输入效果
2016/02/18 Javascript
Bootstrap实现的经典栅格布局效果实例【附demo源码】
2017/03/30 Javascript
vue系列之动态路由详解【原创】
2017/09/10 Javascript
vue router下的html5 history在iis服务器上的设置方法
2017/10/18 Javascript
Angular浏览器插件Batarang介绍及使用
2018/02/07 Javascript
Angular 数据请求的实现方法
2018/05/07 Javascript
JavaScript+Canvas实现彩色图片转换成黑白图片的方法分析
2018/07/31 Javascript
微信小程序实现发送验证码按钮效果
2018/12/20 Javascript
vue中使用带隐藏文本信息的图片、图片水印的方法
2020/04/24 Javascript
python模拟登陆Tom邮箱示例分享
2014/01/13 Python
python实现ipsec开权限实例
2014/11/11 Python
Python __setattr__、 __getattr__、 __delattr__、__call__用法示例
2015/03/06 Python
python控制台中实现进度条功能
2015/11/10 Python
使用C++扩展Python的功能详解
2018/01/12 Python
对python中的six.moves模块的下载函数urlretrieve详解
2018/12/19 Python
Python tcp传输代码实例解析
2020/03/18 Python
CK美国官网:Calvin Klein
2016/08/26 全球购物
澳大利亚买卖正宗二手奢侈品交易平台:Luxe.It.Fwd
2019/10/16 全球购物
屈臣氏菲律宾官网:Watsons菲律宾
2020/06/30 全球购物
什么叫应用程序域?什么是受管制的代码?什么是强类型系统?什么是装箱和拆箱?
2016/08/13 面试题
解决SpringBoot文件上传临时目录找不到的问题
2021/07/01 Java/Android
各种货币符号快捷输入
2022/02/17 杂记
vue3.0 数字翻牌组件的使用方法详解
2022/04/20 Vue.js
使用ICOM IC-R9500接收机同时测评十台收音机中波接收性能
2022/05/10 无线电