Python 读取某个目录下所有的文件实例


Posted in Python onJune 23, 2018

在处理数据的时候,因为没有及时的去重,所以需要重新对生成txt进行去重。

可是一个文件夹下有很多txt,总不可能一个一个去操作,这样效率太低了。这里我们需要用到 os 这个包

关键的代码

<span style="font-size:14px;"># coding=utf-8
#出现了中文乱码的问题,于是我无脑utf-8 。希望后期的学习可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')

#这里放着你要操作的文件夹名称
path = 'E:\\get_key\\'

#把e:\get_key\目录下的文件名全部获取保存在files中
files = os.listdir(path.decode('utf-8'))

#用set可以很好的去重,在数据处理的时候经常会被使用到。这里做初始化
datas = set()

for file in files :
 #准确获取一个txt的位置,利用字符串的拼接
 txt_path = 'E:\\get_key\\'+file.decode('utf-8')
 #把结果保存了在contents中
 contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')
 
 #datas的数据清空 
 datas.clear()
 
 #把数据add到datas中,可以去重
 for content in contents:
  print(content.decode('utf-8'))
  datas.add(content.decode('utf-8'))

 #去重后新的文件保存的路径
 new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
 unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')

 #把datas里的数据输出到新生成的txt中
 for data in datas:
  unique_keywords.write(data+"\n")

 #释放资源
 unique_keywords.close()</span>

以上这篇Python 读取某个目录下所有的文件实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的pprint折腾记
Jan 21 Python
Python的Flask框架中实现简单的登录功能的教程
Apr 20 Python
利用Python的装饰器解决Bottle框架中用户验证问题
Apr 24 Python
python连接字符串的方法小结
Jul 13 Python
浅析Python 3 字符串中的 STR 和 Bytes 有什么区别
Oct 14 Python
Python创建或生成列表的操作方法
Jun 19 Python
Python中查看变量的类型内存地址所占字节的大小
Jun 26 Python
Python中 CSV格式清洗与转换的实例代码
Aug 29 Python
Python3实现zip分卷压缩过程解析
Oct 09 Python
python爬虫开发之Request模块从安装到详细使用方法与实例全解
Mar 09 Python
安装pyecharts1.8.0版本后导入pyecharts模块绘图时报错: “所有图表类型将在 v1.9.0 版本开始强制使用 ChartItem 进行数据项配置 ”的解决方法
Aug 18 Python
如何使用 Flask 做一个评论系统
Nov 27 Python
python保存数据到本地文件的方法
Jun 23 #Python
基于Python List的赋值方法
Jun 23 #Python
python统计多维数组的行数和列数实例
Jun 23 #Python
Python返回数组/List长度的实例
Jun 23 #Python
python 定义给定初值或长度的list方法
Jun 23 #Python
Python列表解析配合if else的方法
Jun 23 #Python
基于Python列表解析(列表推导式)
Jun 23 #Python
You might like
PHP中利用substr_replace将指定两位置之间的字符替换为*号
2011/01/27 PHP
PHP中将ip地址转成十进制数的两种实用方法
2013/08/15 PHP
PHP实现对图片的反色处理功能【测试可用】
2018/02/01 PHP
php接口隔离原则实例分析
2019/11/11 PHP
passwordStrength 基于jquery的密码强度检测代码使用介绍
2011/10/08 Javascript
JavaScript高级程序设计 阅读笔记(二十一) JavaScript中的XML
2012/09/14 Javascript
js读写cookie实现一个底部广告浮层效果的两种方法
2013/12/29 Javascript
javascript数字时钟示例分享
2014/04/23 Javascript
js跨域问题浅析及解决方法优缺点对比
2014/11/08 Javascript
鼠标经过子元素触发mouseout,mouseover事件的解决方案
2015/07/26 Javascript
详解JavaScript对Date对象的操作问题(生成一个倒数7天的数组)
2015/10/01 Javascript
JS HTML5实现拖拽移动列表效果
2020/08/27 Javascript
基于Bootstrap实现下拉菜单项和表单导航条(两个菜单项,一个下拉菜单和登录表单导航条)
2016/07/22 Javascript
JavaScript 拖拽实例代码
2016/09/21 Javascript
用自定义图片代替原生checkbox实现全选,删除以及提交的方法
2016/10/18 Javascript
微信小程序 form组件详解
2016/10/25 Javascript
基于JavaScript实现的顺序查找算法示例
2017/04/14 Javascript
node文字生成图片的示例代码
2017/10/26 Javascript
Webpack 之 babel-loader文件预处理器详解
2018/03/23 Javascript
使用p5.js临摹动态图片
2019/11/04 Javascript
python结合shell查询google关键词排名的实现代码
2016/02/27 Python
Python一行代码实现快速排序的方法
2019/04/30 Python
pandas条件组合筛选和按范围筛选的示例代码
2019/08/26 Python
Python测试线程应用程序过程解析
2019/12/31 Python
Python使用enumerate获取迭代元素下标
2020/02/03 Python
利用python汇总统计多张Excel
2020/09/22 Python
详解HTML5常用的语义化标签
2019/09/27 HTML / CSS
中东地区最大的奢侈品市场:The Luxury Closet
2019/04/09 全球购物
瑞典多品牌连锁店:Johnells
2021/01/13 全球购物
小学端午节活动方案
2014/03/13 职场文书
吨的认识教学反思
2014/04/27 职场文书
赞美老师的演讲稿
2014/05/22 职场文书
会议室标语
2014/06/21 职场文书
关于对大人不礼貌的检讨书
2014/09/29 职场文书
2014年客户经理工作总结
2014/11/20 职场文书
有关信念的名言语录集锦
2019/12/06 职场文书