Python 读取某个目录下所有的文件实例


Posted in Python onJune 23, 2018

在处理数据的时候,因为没有及时的去重,所以需要重新对生成txt进行去重。

可是一个文件夹下有很多txt,总不可能一个一个去操作,这样效率太低了。这里我们需要用到 os 这个包

关键的代码

<span style="font-size:14px;"># coding=utf-8
#出现了中文乱码的问题,于是我无脑utf-8 。希望后期的学习可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')

#这里放着你要操作的文件夹名称
path = 'E:\\get_key\\'

#把e:\get_key\目录下的文件名全部获取保存在files中
files = os.listdir(path.decode('utf-8'))

#用set可以很好的去重,在数据处理的时候经常会被使用到。这里做初始化
datas = set()

for file in files :
 #准确获取一个txt的位置,利用字符串的拼接
 txt_path = 'E:\\get_key\\'+file.decode('utf-8')
 #把结果保存了在contents中
 contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')
 
 #datas的数据清空 
 datas.clear()
 
 #把数据add到datas中,可以去重
 for content in contents:
  print(content.decode('utf-8'))
  datas.add(content.decode('utf-8'))

 #去重后新的文件保存的路径
 new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
 unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')

 #把datas里的数据输出到新生成的txt中
 for data in datas:
  unique_keywords.write(data+"\n")

 #释放资源
 unique_keywords.close()</span>

以上这篇Python 读取某个目录下所有的文件实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中使用异步Socket编程性能测试
Jun 25 Python
Python正则表达式的使用范例详解
Aug 08 Python
列举Python中吸引人的一些特性
Apr 09 Python
python实现本地批量ping多个IP的方法示例
Aug 07 Python
深入浅析python的第三方库pandas
Feb 13 Python
keras CNN卷积核可视化,热度图教程
Jun 22 Python
Python 中如何写注释
Aug 28 Python
Python利用myqr库创建自己的二维码
Nov 24 Python
python录音并调用百度语音识别接口的示例
Dec 01 Python
使用gunicorn部署django项目的问题
Dec 30 Python
如何用python实现一个HTTP连接池
Jan 14 Python
Python使用华为API为图像设置多个锚点标签
Apr 12 Python
python保存数据到本地文件的方法
Jun 23 #Python
基于Python List的赋值方法
Jun 23 #Python
python统计多维数组的行数和列数实例
Jun 23 #Python
Python返回数组/List长度的实例
Jun 23 #Python
python 定义给定初值或长度的list方法
Jun 23 #Python
Python列表解析配合if else的方法
Jun 23 #Python
基于Python列表解析(列表推导式)
Jun 23 #Python
You might like
配置最新的PHP加MYSQL服务器
2006/10/09 PHP
PHP 危险函数全解析
2009/09/09 PHP
PHP中一些可以替代正则表达式函数的字符串操作函数
2014/11/17 PHP
PHP中array_keys和array_unique函数源码的分析
2016/02/26 PHP
javascript 打开页面window.location和window.open的区别
2010/03/17 Javascript
JS window对象的top、parent、opener含义介绍
2013/12/03 Javascript
鼠标移入移出事件改变图片的分辨率的两种方法
2013/12/17 Javascript
Javascript遍历Html Table示例(包括内容和属性值)
2014/07/08 Javascript
node.js中的fs.lchownSync方法使用说明
2014/12/16 Javascript
《JavaScript DOM 编程艺术》读书笔记之JavaScript 简史
2015/01/09 Javascript
javascript判断css3动画结束 css3动画结束的回调函数
2015/03/10 Javascript
深入学习JavaScript中的原型prototype
2015/08/13 Javascript
Bootstrap table的使用方法
2016/11/02 Javascript
Vue.js组件tree实现省市多级联动
2016/12/02 Javascript
JS实现一次性弹窗的方法【刷新后不弹出】
2016/12/26 Javascript
bootstrap switch开关组件使用方法详解
2017/08/22 Javascript
Vue.js 利用v-for中的index值实现隔行变色
2018/08/01 Javascript
zookeeper python接口实例详解
2018/01/18 Python
CentOS7.3编译安装Python3.6.2的方法
2018/01/22 Python
彻底搞懂Python字符编码
2018/01/23 Python
对pandas进行数据预处理的实例讲解
2018/04/20 Python
python如何从文件读取数据及解析
2019/09/19 Python
Django中密码的加密、验密、解密操作
2019/12/19 Python
基于nexus3配置Python仓库过程详解
2020/06/15 Python
美国家喻户晓的保健品品牌:Vitamin World(维他命世界)
2016/08/19 全球购物
美国大尺码女装零售商:TORRID
2016/10/01 全球购物
网络工程师的自我评价
2013/10/02 职场文书
《雪地里的小画家》教学反思
2014/02/22 职场文书
电气工程自动化求职信
2014/03/14 职场文书
对教师的评语
2014/04/28 职场文书
股份合作协议书
2014/09/10 职场文书
小学生必读成语故事大全:送给暑假的你们
2019/07/09 职场文书
深入探讨opencv图像矫正算法实战
2021/05/21 Python
MySQL 5.7常见数据类型
2021/07/15 MySQL
MYSQL优化之数据表碎片整理详解
2022/04/03 MySQL
MySQL的存储过程和相关函数
2022/04/26 MySQL