python去除文件中重复的行实例


Posted in Python onJune 29, 2018

python去除文件中重复的行,我们可以设置一个一个空list,res_list,用来加入没有出现过的字符行!

如果出现在res_list,我们就认为该行句子已经重复了,可以再加入到记录重复句子的list中。

如下代码:

# -*- coding: UTF-8 -*-
#程序功能是为了完成判断文件中是否有重复句子
#并将重复句子打印出来
 
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
 index = index + 1
 if line in res_list:
  temp_str = ""
  temp_str = temp_str + str(index)     #要变为str才行
  temp_line = ''.join(line)
  temp_str = temp_str+temp_line
  #最终要变为str类型
  file_dul.write(temp_str);       #将重复的存入到文件中
 else:
  res_list.append(line)

以上这篇python去除文件中重复的行实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过pil为png图片填充上背景颜色的方法
Mar 17 Python
python flask实现分页效果
Jun 27 Python
django 2.0更新的10条注意事项总结
Jan 05 Python
解决python 输出是省略号的问题
Apr 19 Python
Python随机生成身份证号码及校验功能
Dec 04 Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 Python
使用python 写一个静态服务(实战)
Jun 28 Python
wxPython+Matplotlib绘制折线图表
Nov 19 Python
Python获取浏览器窗口句柄过程解析
Jul 25 Python
使用anaconda安装pytorch的实现步骤
Sep 03 Python
python 密码学示例——凯撒密码的实现
Sep 21 Python
python实现双链表
May 25 Python
python获取指定字符串中重复模式最高的字符串方法
Jun 29 #Python
Python 利用内置set函数对字符串和列表进行去重的方法
Jun 29 #Python
Linux下python与C++使用dlib实现人脸检测
Jun 29 #Python
对python中两种列表元素去重函数性能的比较方法
Jun 29 #Python
Python数据持久化shelve模块用法分析
Jun 29 #Python
python 统计列表中不同元素的数量方法
Jun 29 #Python
python计算两个数的百分比方法
Jun 29 #Python
You might like
php实现12306火车票余票查询和价格查询(12306火车票查询)
2014/01/14 PHP
php列出mysql表所有行和列的方法
2015/03/13 PHP
PHP文件上传问题汇总(文件大小检测、大文件上传处理)
2015/12/24 PHP
php+MySQL实现登录时验证登录名和密码是否正确
2016/05/10 PHP
Textarea与懒惰渲染实现代码
2012/01/04 Javascript
jquery左边浮动到一定位置时显示返回顶部按钮
2014/06/05 Javascript
显示今天的日期js代码(阳历和农历)
2014/09/30 Javascript
jQuery对象和DOM对象之间相互转换的方法介绍
2015/02/28 Javascript
jquery滚动到顶部底部代码
2015/04/20 Javascript
JavaScript中的call方法和apply方法使用对比
2015/08/12 Javascript
bootstrap手风琴制作方法详解
2017/01/11 Javascript
javascript 删除数组元素和清空数组的简单方法
2017/02/24 Javascript
js实现简单的获取验证码按钮效果
2017/03/03 Javascript
浅谈angularJs函数的使用方法(大小写转换,拷贝,扩充对象)
2018/10/08 Javascript
javascript匿名函数中的'return function()'作用
2018/10/15 Javascript
深入理解js A*寻路算法原理与具体实现过程
2018/12/13 Javascript
JS 封装父页面子页面交互接口的实例代码
2019/06/25 Javascript
JavaScript代理模式原理与用法实例详解
2020/03/10 Javascript
JS实现碰撞检测效果
2020/03/12 Javascript
[01:00:11]DOTA2-DPC中国联赛 正赛 CDEC vs DLG BO3 第一场 2月7日
2021/03/11 DOTA
跟老齐学Python之模块的加载
2014/10/24 Python
Python的Socket编程过程中实现UDP端口复用的实例分享
2016/03/19 Python
简单了解Python生成器是什么
2019/07/02 Python
python django中8000端口被占用的解决
2019/12/17 Python
解决Tensorflow sess.run导致的内存溢出问题
2020/02/05 Python
中国专业的综合网上购物商城:京东
2016/08/02 全球购物
IWOOT美国:新奇的小玩意
2018/04/27 全球购物
用C语言实现文件读写操作
2013/10/27 面试题
非常详细的C#面试题集
2016/07/13 面试题
餐饮业经理竞聘演讲稿
2014/01/14 职场文书
恐龙的灭绝教学反思
2014/02/12 职场文书
保险专业自荐信范文
2014/02/20 职场文书
教学改革实施方案
2014/03/31 职场文书
护理见习报告范文
2014/11/03 职场文书
CentOS下安装Jenkins的完整步骤
2022/04/07 Servers
详细介绍Next.js脚手架完整搭建封装
2022/04/26 Javascript