Python 读取某个目录下所有的文件实例


Posted in Python onJune 23, 2018

在处理数据的时候,因为没有及时的去重,所以需要重新对生成txt进行去重。

可是一个文件夹下有很多txt,总不可能一个一个去操作,这样效率太低了。这里我们需要用到 os 这个包

关键的代码

<span style="font-size:14px;"># coding=utf-8
#出现了中文乱码的问题,于是我无脑utf-8 。希望后期的学习可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')

#这里放着你要操作的文件夹名称
path = 'E:\\get_key\\'

#把e:\get_key\目录下的文件名全部获取保存在files中
files = os.listdir(path.decode('utf-8'))

#用set可以很好的去重,在数据处理的时候经常会被使用到。这里做初始化
datas = set()

for file in files :
 #准确获取一个txt的位置,利用字符串的拼接
 txt_path = 'E:\\get_key\\'+file.decode('utf-8')
 #把结果保存了在contents中
 contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')
 
 #datas的数据清空 
 datas.clear()
 
 #把数据add到datas中,可以去重
 for content in contents:
  print(content.decode('utf-8'))
  datas.add(content.decode('utf-8'))

 #去重后新的文件保存的路径
 new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
 unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')

 #把datas里的数据输出到新生成的txt中
 for data in datas:
  unique_keywords.write(data+"\n")

 #释放资源
 unique_keywords.close()</span>

以上这篇Python 读取某个目录下所有的文件实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python模块学习 filecmp 文件比较
Aug 27 Python
Windows系统下安装Python的SSH模块教程
Feb 05 Python
实例讲解Python中函数的调用与定义
Mar 14 Python
Python AES加密模块用法分析
May 22 Python
Python简单定义与使用字典dict的方法示例
Jul 25 Python
python实现对指定字符串补足固定长度倍数截断输出的方法
Nov 15 Python
Python 实现两个服务器之间文件的上传方法
Feb 13 Python
Django发送邮件功能实例详解
Sep 02 Python
python GUI库图形界面开发之PyQt5工具栏控件QToolBar的详细使用方法与实例
Feb 28 Python
基于Python 的语音重采样函数解析
Jul 06 Python
Selenium获取登录Cookies并添加Cookies自动登录的方法
Dec 04 Python
Python编程中内置的NotImplemented类型的用法
Mar 23 Python
python保存数据到本地文件的方法
Jun 23 #Python
基于Python List的赋值方法
Jun 23 #Python
python统计多维数组的行数和列数实例
Jun 23 #Python
Python返回数组/List长度的实例
Jun 23 #Python
python 定义给定初值或长度的list方法
Jun 23 #Python
Python列表解析配合if else的方法
Jun 23 #Python
基于Python列表解析(列表推导式)
Jun 23 #Python
You might like
PHP开发过程中常用函数收藏
2009/12/14 PHP
探讨方法的重写(覆载)详解
2013/06/08 PHP
关于php内存不够用的快速解决方法
2013/10/26 PHP
php调整gif动画图片尺寸示例代码分享
2013/12/05 PHP
PHP中filter函数校验数据的方法详解
2015/07/31 PHP
visual studio code 调试php方法(图文详解)
2017/09/15 PHP
PHP PDOStatement::bindValue讲解
2019/01/30 PHP
PHPstorm激活码2020年5月13日亲测有效
2020/09/17 PHP
Js实现当前点击a标签变色突出显示其他a标签回复原色
2013/11/27 Javascript
vue高德地图之玩转周边
2017/06/16 Javascript
解决layui中table异步数据请求不支持自定义返回数据格式的问题
2018/08/19 Javascript
跟混乱的页面弹窗说再见
2019/04/11 Javascript
vue 清空input标签 中file的值操作
2020/07/21 Javascript
用python结合jieba和wordcloud实现词云效果
2017/09/05 Python
在python3.5中使用OpenCV的实例讲解
2018/04/02 Python
Python处理菜单消息操作示例【基于win32ui模块】
2018/05/09 Python
Pandas:DataFrame对象的基础操作方法
2018/06/07 Python
TensorFlow卷积神经网络之使用训练好的模型识别猫狗图片
2019/03/14 Python
Django对数据库进行添加与更新的例子
2019/07/12 Python
pandas 对group进行聚合的例子
2019/12/27 Python
如何导出python安装的所有模块名称和版本号到文件中
2020/06/05 Python
Python之Matplotlib文字与注释的使用方法
2020/06/18 Python
Python类成员继承重写的实现
2020/09/16 Python
详解Python 中的 defaultdict 数据类型
2021/02/22 Python
GOLFINO英国官网:高尔夫服装
2020/04/11 全球购物
大专毕业生自我鉴定
2013/11/21 职场文书
党的群众路线教育实践活动公开承诺书
2014/03/28 职场文书
《翻越远方的大山》教学反思
2014/04/13 职场文书
珍惜资源保护环境的建议书
2014/05/14 职场文书
道德演讲稿
2014/05/21 职场文书
写景作文评语集锦
2014/12/25 职场文书
追讨欠款律师函
2015/06/24 职场文书
培训后的感想
2015/08/07 职场文书
开学第一天的感想
2015/08/10 职场文书
Python 快速验证代理IP是否有效的方法实现
2021/07/15 Python
JavaScript前端面试扁平数据转tree与tree数据扁平化
2022/06/14 Javascript