编程 Python

Python实现的txt文件去重功能示例

Posted in Python onJuly 07, 2018

本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：

# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt"  #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
  if line not in lines_seen:
    a+=1
    outfile.write(line)
    lines_seen.add(line)
    print(a)
    print('\n')
outfile.close()
print("success")

其中old.tx如下：

3water.com
www.baidu.com
www.sina.com.cn
3water.com
www.google.com
www.sohu.com
3water.com
www.163.com

运行后new.txt内容如下：

3water.com
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com

Python实现的txt文件去重功能示例

- Author -

人饭子

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python算法之栈（stack）的实现

Aug 18 Python

Python读取环境变量的方法和自定义类分享

Nov 22 Python

Python中用startswith()函数判断字符串开头的教程

Apr 07 Python

python简单分割文件的方法

Jul 30 Python

Python下实现的RSA加密/解密及签名/验证功能示例

Jul 17 Python

python使用正则表达式替换匹配成功的组

Nov 17 Python

详细分析python3的reduce函数

Dec 05 Python

python登录并爬取淘宝信息代码示例

Dec 09 Python

matplotlib.pyplot画图图片的二进制流的获取方法

May 24 Python

Python基于datetime或time模块分别获取当前时间戳的方法实例

Feb 19 Python

解决keras模型保存h5文件提示无此目录问题

Jul 01 Python

Python3中FuzzyWuzzy库实例用法

Nov 18 Python

Django 多语言教程的实现(i18n)

Jul 07 #Python

python利用requests库进行接口测试的方法详解

Jul 06 #Python

python生成密码字典的方法

Jul 06 #Python

Python 3.x 判断 dict 是否包含某键值的实例讲解

Jul 06 #Python

使用python中的in ,not in来检查元素是不是在列表中的方法

Jul 06 #Python

python 实现将字典dict、列表list中的中文正常显示方法

Jul 06 #Python

Python判断中文字符串是否相等的实例

Jul 06 #Python

You might like

自动把纯文本转换成Web页面的php代码

2009/08/27 PHP

PHP运行环境配置与开发环境的配置(图文教程)

2013/06/04 PHP

解析将多维数组转换为支持curl提交的一维数组格式

2013/07/08 PHP

PHP图片库imagemagick安装方法

2014/09/23 PHP

php类中的$this，static，final，const，self这几个关键字使用方法

2015/12/14 PHP

php 判断页面或图片是否经过gzip压缩的方法

2017/04/05 PHP

PHP手机号中间四位用星号*代替显示的实例

2017/06/02 PHP

javascript下4个跨浏览器必备的函数

2010/03/07 Javascript

from表单多个按钮提交用onclick跳转不同action

2014/04/24 Javascript

jquery实现公告翻滚效果

2015/02/27 Javascript

javascript实现的网站访问量统计代码

2015/12/20 Javascript

jQuery+Pdo编写login登陆界面

2016/08/01 Javascript

一步一步封装自己的HtmlHelper组件BootstrapHelper（三）

2016/09/14 Javascript

jQuery中DOM节点的删除方法总结（超全面）

2017/01/22 Javascript

NodeJS仿WebApi路由示例

2017/02/28 NodeJs

canvas实现环形进度条效果

2017/03/23 Javascript

javascript按钮禁用和启用的效果实例代码

2017/10/29 Javascript

Vue按需加载的具体实现

2017/12/02 Javascript

MVVM 双向绑定的实现代码

2018/06/21 Javascript

vscode下vue项目中eslint的使用方法

2019/01/13 Javascript

vue项目移动端实现ip输入框问题

2019/03/19 Javascript

说说Vuex的getters属性的具体用法

2019/04/15 Javascript

js使用文件流下载csv文件的实现方法

2019/07/15 Javascript

vue 使用v-for进行循环的实例代码详解

2020/02/19 Javascript

[01:03:33]Alliance vs TNC 2019国际邀请赛小组赛 BO2 第一场 8.16

2019/08/18 DOTA

在Python中操作列表之List.append()方法的使用

2015/05/20 Python

Python实现深度遍历和广度遍历的方法

2019/01/22 Python

Django使用Jinja2模板引擎的示例代码

2019/08/09 Python

Boden美国官网：英伦原创时装品牌

2017/07/03 全球购物

土木工程专业个人求职信

2013/12/30 职场文书

物业总经理岗位职责

2014/02/28 职场文书

双方协议书

2014/04/22 职场文书

目标责任书格式

2014/07/28 职场文书

实习推荐信格式模板

2015/03/27 职场文书

大学开学感言

2015/08/01 职场文书

python 定义函数返回值只取其中一个的实现

2021/05/21 Python