python批量读取txt文件为DataFrame的方法


Posted in Python onApril 03, 2018

我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作。比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢?

python批量读取txt文件为DataFrame的方法

首先我们要用到glob模块,这个python内置的模块可以说是非常的好用。

glob.glob('*.txt')

得到如下结果:

python批量读取txt文件为DataFrame的方法

all.txt是我最后得到的结果文件。可以见返回的是一个包含txt文件名称的列表,当然如果你的文件夹下面只有txt文件,那么你用os.listdir()可以得到一个一样的列表

然后读取的时候只要注意txt文件的编码格式(可以用notepad++打开记事本查看)和间隔符的形式就好了,完整的代码如下:

import os
import pandas
import codecs
import glob
import pandas as pd
os.getcwd()
os.chdir('D:\AAAASXQ\python study\data preprocessing')
def txtcombine():
 
 files = glob.glob('*.txt')
 
 all = codecs.open('all.txt','a')
 
 for filename in flist: 
 print(filename) 
 fopen=codecs.open(filename,'r',encoding='utf-8') 
 lines=[] 
 lines=fopen.readlines() 
 fopen.close() 
 i=0 
 for line in lines: 
  for x in line: 
  all.write(x)
 #读取为DataFrame格式
 all1 = pd.read_csv('all.txt',sep=' ',encoding='GB2312')
 #保存为csv格式
 all1.to_csv('all.csv',encoding='GB2312')
 
if __name__ == '__main__': 
 txtcombine()

以上这篇python批量读取txt文件为DataFrame的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的Flask框架中@app.route的用法教程
Mar 31 Python
python与php实现分割文件代码
Mar 06 Python
浅述python中argsort()函数的实例用法
Mar 30 Python
用python处理MS Word的实例讲解
May 08 Python
python 每天如何定时启动爬虫任务(实现方法分享)
May 21 Python
Python单向链表和双向链表原理与用法实例详解
Aug 31 Python
Python正则表达式指南 推荐
Oct 09 Python
python检测文件夹变化,并拷贝有更新的文件到对应目录的方法
Oct 17 Python
Python Excel vlookup函数实现过程解析
Jun 22 Python
Python3合并两个有序数组代码实例
Aug 11 Python
python3排序的实例方法
Oct 20 Python
详解基于Facecognition+Opencv快速搭建人脸识别及跟踪应用
Jan 21 Python
python逐行读写txt文件的实例讲解
Apr 03 #Python
Python实现的计算马氏距离算法示例
Apr 03 #Python
python2.7无法使用pip的解决方法(安装easy_install)
Apr 03 #Python
快速解决安装python没有scripts文件夹的问题
Apr 03 #Python
Python中将变量按行写入txt文本中的方法
Apr 03 #Python
python使用tensorflow深度学习识别验证码
Apr 03 #Python
使用python获取csv文本的某行或某列数据的实例
Apr 03 #Python
You might like
php+mysqli实现将数据库中一张表信息打印到表格里的方法
2015/01/28 PHP
详谈php静态方法及普通方法的区别
2016/10/04 PHP
PHP调用API接口实现天气查询功能的示例
2017/09/21 PHP
PHP获取类私有属性的3种方法
2020/09/10 PHP
JavaScript的变量作用域深入理解
2009/10/25 Javascript
javascript学习笔记(十三) js闭包介绍(转)
2012/06/20 Javascript
jQuery+PHP打造滑动开关效果
2014/12/16 Javascript
纯JavaScript实现的分页插件实例
2015/07/14 Javascript
window.close(); 关闭浏览器窗口js代码的总结介绍
2016/07/14 Javascript
JS给swf传参数的实现方法
2016/09/13 Javascript
js实现对table的增加行和删除行的操作方法
2016/10/13 Javascript
Jquery实时监听input value的实例
2017/01/26 Javascript
js的OOP继承实现(必看篇)
2017/02/18 Javascript
vuejs 单文件组件.vue 文件的使用
2017/07/28 Javascript
jQuery实现的两种简单弹窗效果示例
2018/04/18 jQuery
vue使用echarts图表的详细方法
2018/10/22 Javascript
jquery实现简单自动轮播图效果
2020/07/29 jQuery
Python内置函数的用法实例教程
2014/09/08 Python
windows下python安装小白入门教程
2018/09/18 Python
解决python测试opencv时imread导致的错误问题
2019/01/26 Python
Python pandas.DataFrame调整列顺序及修改index名的方法
2019/06/21 Python
如何将tensorflow训练好的模型移植到Android (MNIST手写数字识别)
2020/04/22 Python
详解Python模块化编程与装饰器
2021/01/16 Python
Python3+Appium安装及Appium模拟微信登录方法详解
2021/02/16 Python
高档奢华时装在线目的地:FORWARD by elyse walker
2017/10/16 全球购物
Wedgwood美国官网:英国骨瓷,精美礼品及家居装饰
2018/02/17 全球购物
匡威英国官网:Converse英国
2018/12/02 全球购物
英国的潮牌鞋履服饰商店:size?
2019/03/26 全球购物
eharmony澳大利亚:网上约会服务
2020/02/29 全球购物
机电一体化应届生求职信范文
2014/01/24 职场文书
文明寄语大全
2014/04/11 职场文书
航班延误投诉信
2015/07/02 职场文书
小学运动会宣传稿
2015/07/23 职场文书
结婚十年感言
2015/07/31 职场文书
B站评分公认最好看的动漫,你的名字评分9.9,第六备受喜欢
2022/03/18 日漫
python语言中pandas字符串分割str.split()函数
2022/08/05 Python