python批量读取txt文件为DataFrame的方法


Posted in Python onApril 03, 2018

我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作。比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢?

python批量读取txt文件为DataFrame的方法

首先我们要用到glob模块,这个python内置的模块可以说是非常的好用。

glob.glob('*.txt')

得到如下结果:

python批量读取txt文件为DataFrame的方法

all.txt是我最后得到的结果文件。可以见返回的是一个包含txt文件名称的列表,当然如果你的文件夹下面只有txt文件,那么你用os.listdir()可以得到一个一样的列表

然后读取的时候只要注意txt文件的编码格式(可以用notepad++打开记事本查看)和间隔符的形式就好了,完整的代码如下:

import os
import pandas
import codecs
import glob
import pandas as pd
os.getcwd()
os.chdir('D:\AAAASXQ\python study\data preprocessing')
def txtcombine():
 
 files = glob.glob('*.txt')
 
 all = codecs.open('all.txt','a')
 
 for filename in flist: 
 print(filename) 
 fopen=codecs.open(filename,'r',encoding='utf-8') 
 lines=[] 
 lines=fopen.readlines() 
 fopen.close() 
 i=0 
 for line in lines: 
  for x in line: 
  all.write(x)
 #读取为DataFrame格式
 all1 = pd.read_csv('all.txt',sep=' ',encoding='GB2312')
 #保存为csv格式
 all1.to_csv('all.csv',encoding='GB2312')
 
if __name__ == '__main__': 
 txtcombine()

以上这篇python批量读取txt文件为DataFrame的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python写的一个squid访问日志分析的小程序
Sep 17 Python
再谈Python中的字符串与字符编码(推荐)
Dec 14 Python
python运行其他程序的实现方法
Jul 14 Python
将字典转换为DataFrame并进行频次统计的方法
Apr 08 Python
Python数据分析库pandas基本操作方法
Apr 08 Python
Python实现繁体中文与简体中文相互转换的方法示例
Dec 18 Python
python各类经纬度转换的实例代码
Aug 08 Python
利用pyshp包给shapefile文件添加字段的实例
Dec 06 Python
python实现FTP文件传输的方法(服务器端和客户端)
Mar 20 Python
django项目中使用云片网发送短信验证码的实现
Jan 19 Python
python glom模块的使用简介
Apr 13 Python
Pytorch DataLoader shuffle验证方式
Jun 02 Python
python逐行读写txt文件的实例讲解
Apr 03 #Python
Python实现的计算马氏距离算法示例
Apr 03 #Python
python2.7无法使用pip的解决方法(安装easy_install)
Apr 03 #Python
快速解决安装python没有scripts文件夹的问题
Apr 03 #Python
Python中将变量按行写入txt文本中的方法
Apr 03 #Python
python使用tensorflow深度学习识别验证码
Apr 03 #Python
使用python获取csv文本的某行或某列数据的实例
Apr 03 #Python
You might like
PHP中防止SQL注入方法详解
2014/12/25 PHP
js window.onload 加载多个函数的方法
2009/11/02 Javascript
jQuery实现原理的模拟代码 -6 代码下载
2010/08/16 Javascript
jQuery源码分析-03构造jQuery对象-源码结构和核心函数
2011/11/14 Javascript
js获取TreeView控件选中节点的Text和Value值的方法
2012/11/24 Javascript
Ext中下拉列表ComboBox组件store数据格式用法介绍
2013/07/15 Javascript
使用GruntJS构建Web程序之合并压缩篇
2014/06/06 Javascript
优化RequireJS项目的相关技巧总结
2015/07/01 Javascript
基于JavaScript实现网页倒计时自动跳转代码
2015/12/28 Javascript
适用于手机端的jQuery图片滑块动画
2016/12/09 Javascript
基于对象合并功能的实现示例
2017/10/10 Javascript
NodeJS父进程与子进程资源共享原理与实现方法
2018/03/16 NodeJs
jquery实现动态创建form并提交的方法示例
2019/05/27 jQuery
搭建一个nodejs脚手架的方法步骤
2019/06/28 NodeJs
JS的时间格式化和时间戳转换函数示例详解
2020/07/27 Javascript
快速解决element的autofocus失效问题
2020/09/08 Javascript
vue3为什么要用proxy替代defineProperty
2020/10/19 Javascript
Python中生成器和yield语句的用法详解
2015/04/17 Python
Pycharm更换python解释器的方法
2018/10/29 Python
python实现将汉字保存成文本的方法
2018/11/16 Python
Python实现对特定列表进行从小到大排序操作示例
2019/02/11 Python
Python字符串逆序的实现方法【一题多解】
2019/02/18 Python
Pandas DataFrame中的tuple元素遍历的实现
2019/10/23 Python
用python3读取python2的pickle数据方式
2019/12/25 Python
利用python实现平稳时间序列的建模方式
2020/06/03 Python
利用HTML5绘制点线面组成的3D图形的示例
2015/05/12 HTML / CSS
Etam俄罗斯:法国女士内衣和家居服网上商店
2019/10/30 全球购物
有机婴儿毛毯和衣服:Monica + Andy
2020/03/01 全球购物
毕业生机械建模求职信
2013/10/14 职场文书
《少年王冕》教学反思
2014/04/11 职场文书
人民调解员先进事迹材料
2014/05/08 职场文书
小学运动会口号
2014/06/07 职场文书
园林专业毕业生自荐信
2014/07/04 职场文书
如何写好闭幕词
2019/04/02 职场文书
诗词赏析-(浣溪沙)
2019/08/13 职场文书
深入浅出讲解Java8函数式编程
2022/01/18 Java/Android