首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python实现的txt文件去重功能示例

Posted in Python onJuly 07, 2018

本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：

# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt"  #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
  if line not in lines_seen:
    a+=1
    outfile.write(line)
    lines_seen.add(line)
    print(a)
    print('\n')
outfile.close()
print("success")

其中old.tx如下：

3water.com
www.baidu.com
www.sina.com.cn
3water.com
www.google.com
www.sohu.com
3water.com
www.163.com

运行后new.txt内容如下：

3water.com
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com

Python实现的txt文件去重功能示例

- Author -

人饭子

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
Python常用的日期时间处理方法示例
Feb 08 Python
Python标准库defaultdict模块使用示例
Apr 28 Python
python创建一个最简单http webserver服务器的方法
May 08 Python
python中循环语句while用法实例
May 16 Python
Python的Flask框架标配模板引擎Jinja2的使用教程
Jul 12 Python
一步步教你用Python实现2048小游戏
Jan 19 Python
Python爬虫之pandas基本安装与使用方法示例
Aug 08 Python
Python操作rabbitMQ的示例代码
Mar 19 Python
Python any()函数的使用方法
Oct 28 Python
Pytorch 数据加载与数据预处理方式
Dec 31 Python
python编程项目中线上问题排查与解决
Nov 01 Python
Python中的嵌套循环详情
Mar 23 Python
Django 多语言教程的实现(i18n)
Jul 07 #Python
python利用requests库进行接口测试的方法详解
Jul 06 #Python
python生成密码字典的方法
Jul 06 #Python
Python 3.x 判断 dict 是否包含某键值的实例讲解
Jul 06 #Python
使用python中的in ,not in来检查元素是不是在列表中的方法
Jul 06 #Python
python 实现将字典dict、列表list中的中文正常显示方法
Jul 06 #Python
Python判断中文字符串是否相等的实例
Jul 06 #Python
PostMapping(1) 内存泄露(1) ResNet50(1) 字符串(2) tensorflow(2) Inception(2) Xception(1) Seaborn(1) Spring(9) yolo3(1)
You might like
php下用GD生成生成缩略图的两个选择和区别
2007/04/17 PHP
洪恩在线成语词典小偷程序php版
2012/04/20 PHP
php fsockopen伪造post与get方法的详解
2013/06/14 PHP
解析PHP获取当前网址及域名的实现代码
2013/06/23 PHP
使用PHP把HTML生成PDF文件的几个开源项目介绍
2014/11/17 PHP
初识PHP中的Swoole
2016/04/05 PHP
PHP+Ajax异步带进度条上传文件实例
2016/11/01 PHP
详解yii2使用多个数据库的案例
2017/06/16 PHP
php实现获取近几日、月时间示例
2019/07/06 PHP
javascript使用prototype完成单继承
2014/12/24 Javascript
JavaScript函数使用的基本教程
2015/06/04 Javascript
倾力总结40条常见的移动端Web页面问题解决方案
2016/05/24 Javascript
jQuery中ajax错误调试分析
2016/12/01 Javascript
详解vue项目首页加载速度优化
2017/10/18 Javascript
php 解压zip压缩包内容到指定目录的实例
2018/01/23 Javascript
jQuery实现的简单获取索引功能示例
2018/06/04 jQuery
vue服务端渲染页面缓存和组件缓存的实例详解
2018/09/18 Javascript
浅析vue 函数配置项watch及函数 $watch 源码分享
2018/11/22 Javascript
js实现通过开始结束控制的计时器
2019/02/25 Javascript
Python3对称加密算法AES、DES3实例详解
2018/12/06 Python
python列表使用实现名字管理系统
2019/01/30 Python
python聚类算法解决方案（rest接口/mpp数据库/json数据/下载图片及数据）
2019/08/28 Python
Python socket实现的文件下载器功能示例
2019/11/15 Python
vue学习笔记之动态组件和v-once指令简单示例
2020/02/29 Python
Python自动发送和收取邮件的方法
2020/08/12 Python
Python使用requests模块爬取百度翻译
2020/08/25 Python
解决python3.6用cx_Oracle库连接Oracle的问题
2020/12/07 Python
迪奥官网：Dior.com
2018/12/04 全球购物
请编写一个 C 函数，该函数在给定的内存区域搜索给定的字符，并返回该字符所在位置索引值
2014/09/15 面试题
上班打牌检讨书
2014/02/07 职场文书
安全生产管理责任书
2014/04/16 职场文书
羽毛球比赛策划方案
2014/06/13 职场文书
大学课外活动总结
2014/07/09 职场文书
安全月宣传标语
2014/10/07 职场文书
委托函范文
2015/01/29 职场文书
公司欠款证明
2015/06/24 职场文书