Python实现的txt文件去重功能示例


Posted in Python onJuly 07, 2018

本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考,具体如下:

# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt"  #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/1"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
  if line not in lines_seen:
    a+=1
    outfile.write(line)
    lines_seen.add(line)
    print(a)
    print('\n')
outfile.close()
print("success")

其中old.tx如下:

3water.com
www.baidu.com
www.sina.com.cn
3water.com
www.google.com
www.sohu.com
3water.com
www.163.com

运行后new.txt内容如下:

3water.com
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com

Python 相关文章推荐
python字符串对其居中显示的方法
Jul 11 Python
Python中基础的socket编程实战攻略
Jun 01 Python
Python如何为图片添加水印
Nov 25 Python
python下解压缩zip文件并删除文件的实例
Apr 24 Python
在CMD命令行中运行python脚本的方法
May 12 Python
详解Python爬取并下载《电影天堂》3千多部电影
Apr 26 Python
10款最好的Python开发编辑器
Jul 03 Python
Django 对象关系映射(ORM)源码详解
Aug 06 Python
Django单元测试中Fixtures的使用方法
Feb 26 Python
python中Django文件上传方法详解
Aug 05 Python
正确的理解和使用Django信号(Signals)
Apr 14 Python
Python基础之教你怎么在M1系统上使用pandas
May 08 Python
Django 多语言教程的实现(i18n)
Jul 07 #Python
python利用requests库进行接口测试的方法详解
Jul 06 #Python
python生成密码字典的方法
Jul 06 #Python
Python 3.x 判断 dict 是否包含某键值的实例讲解
Jul 06 #Python
使用python中的in ,not in来检查元素是不是在列表中的方法
Jul 06 #Python
python 实现将字典dict、列表list中的中文正常显示方法
Jul 06 #Python
Python判断中文字符串是否相等的实例
Jul 06 #Python
You might like
一个程序下载的管理程序(三)
2006/10/09 PHP
Linux下进行MYSQL编程时插入中文乱码的解决方案
2007/03/15 PHP
discuz安全提问算法
2007/06/06 PHP
基于Linux调试工具strace与gdb的常用命令总结
2013/06/03 PHP
PHP弹出提示框并跳转到新页面即重定向到新页面
2014/01/24 PHP
简单的php新闻发布系统教程
2014/05/09 PHP
浅谈php提交form表单
2015/07/01 PHP
Symfony2实现从数据库获取数据的方法小结
2016/03/18 PHP
PHP+AjaxForm异步带进度条上传文件实例代码
2017/08/14 PHP
浅析PHP中的闭包和匿名函数
2017/12/25 PHP
Laravel框架模板继承操作示例
2018/06/11 PHP
二级域名或跨域共享Cookies的实现方法
2008/08/07 Javascript
jQuery创建插件的代码分析
2011/04/14 Javascript
Jquery.addClass始终无效原因分析
2013/09/08 Javascript
浅谈javascript事件取消和阻止冒泡
2015/05/26 Javascript
javascript跨域的方法汇总
2015/10/23 Javascript
jquery表单验证插件formValidator使用方法
2016/04/01 Javascript
关于vue.js弹窗组件的知识点总结
2016/09/11 Javascript
H5+C3+JS实现五子棋游戏(AI篇)
2020/05/28 Javascript
JavaScript格式化json和xml的方法示例
2019/01/22 Javascript
es6数组之扩展运算符操作实例分析
2020/04/25 Javascript
jQuery实现鼠标拖拽登录框移动效果
2020/09/13 jQuery
逐行分析鸿蒙系统的 JavaScript 框架(推荐)
2020/09/17 Javascript
JavaScript实现alert弹框效果
2020/11/19 Javascript
JS+CSS实现过渡特效
2021/01/02 Javascript
使用Python进行稳定可靠的文件操作详解
2013/12/31 Python
Python实现生成简单的Makefile文件代码示例
2015/03/10 Python
简单分析Python中用fork()函数生成的子进程
2015/05/04 Python
Python设计模式之模板方法模式实例详解
2019/01/17 Python
postman模拟访问具有Session的post请求方法
2019/07/15 Python
ebookers英国:隶属全球最大的在线旅游公司Expedia
2017/12/28 全球购物
C++是不是类型安全的
2014/02/18 面试题
电大自我鉴定
2013/10/27 职场文书
初中政教处工作总结
2015/08/12 职场文书
2019入党申请书格式
2019/06/25 职场文书
助学金申请书该怎么写?
2019/07/16 职场文书