python去除文件中重复的行实例


Posted in Python onJune 29, 2018

python去除文件中重复的行,我们可以设置一个一个空list,res_list,用来加入没有出现过的字符行!

如果出现在res_list,我们就认为该行句子已经重复了,可以再加入到记录重复句子的list中。

如下代码:

# -*- coding: UTF-8 -*-
#程序功能是为了完成判断文件中是否有重复句子
#并将重复句子打印出来
 
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
 index = index + 1
 if line in res_list:
  temp_str = ""
  temp_str = temp_str + str(index)     #要变为str才行
  temp_line = ''.join(line)
  temp_str = temp_str+temp_line
  #最终要变为str类型
  file_dul.write(temp_str);       #将重复的存入到文件中
 else:
  res_list.append(line)

以上这篇python去除文件中重复的行实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python的turtle模块画图的方法
Nov 15 Python
pandas 两列时间相减换算为秒的方法
Apr 20 Python
python使用循环打印所有三位数水仙花数的实例
Nov 13 Python
Pycharm 实现下一个文件引用另外一个文件的方法
Jan 17 Python
python做反被爬保护的方法
Jul 01 Python
远程部署工具Fabric详解(支持Python3)
Jul 04 Python
python调用支付宝支付接口流程
Aug 15 Python
tensorboard实现同时显示训练曲线和测试曲线
Jan 21 Python
Python输出指定字符串的方法
Feb 06 Python
Python如何自动获取目标网站最新通知
Jun 18 Python
Django 实现图片上传和下载功能
Dec 31 Python
python 如何做一个识别率百分百的OCR
May 29 Python
python获取指定字符串中重复模式最高的字符串方法
Jun 29 #Python
Python 利用内置set函数对字符串和列表进行去重的方法
Jun 29 #Python
Linux下python与C++使用dlib实现人脸检测
Jun 29 #Python
对python中两种列表元素去重函数性能的比较方法
Jun 29 #Python
Python数据持久化shelve模块用法分析
Jun 29 #Python
python 统计列表中不同元素的数量方法
Jun 29 #Python
python计算两个数的百分比方法
Jun 29 #Python
You might like
重置版宣传动画
2020/04/09 魔兽争霸
php生成图片缩略图的方法
2015/04/07 PHP
php简单实现查询数据库返回json数据
2015/04/16 PHP
如何使用php等比例缩放图片
2016/10/12 PHP
dojo 之基础篇(二)之从服务器读取数据
2007/03/24 Javascript
javascript+css 网页每次加载不同样式的实现方法
2009/12/27 Javascript
JavaScript 一道字符串分解的题目
2011/08/03 Javascript
javascript查找字符串中出现最多的字符和次数的小例子
2013/10/29 Javascript
JS的encodeURI和java的URLDecoder.decode使用介绍
2014/05/08 Javascript
node.js中的path.delimiter方法使用说明
2014/12/09 Javascript
js创建数组的简单方法
2016/07/27 Javascript
JQuery使用属性addClass、removeClass和toggleClass实现增加和删除类操作示例
2019/11/18 jQuery
es6函数之尾递归用法实例分析
2020/04/25 Javascript
[00:36]DOTA2勇士令状莱恩声望物品——冥晶之厄展示
2018/05/25 DOTA
[36:16]完美世界DOTA2联赛PWL S3 access vs Rebirth 第一场 12.19
2020/12/24 DOTA
Python求两个list的差集、交集与并集的方法
2014/11/01 Python
利用Python实现简单的相似图片搜索的教程
2015/04/23 Python
python调用Matplotlib绘制分布点并且添加标签
2018/05/31 Python
Python 中导入csv数据的三种方法
2018/11/01 Python
对python中的乘法dot和对应分量相乘multiply详解
2018/11/14 Python
Python OS模块实例详解
2019/04/15 Python
Python基于pygame实现单机版五子棋对战
2019/12/26 Python
python清空命令行方式
2020/01/13 Python
欧洲有机婴儿食品最大的市场:Organic Baby Food(供美国和加拿大)
2018/03/28 全球购物
Sephora丝芙兰印尼官方网站:购买化妆品和护肤品
2018/07/02 全球购物
印度排名第一的蛋糕、鲜花和礼品送货:Winni
2019/08/02 全球购物
香港士多网上超级市场:Ztore
2021/01/09 全球购物
统计每一学生的平均成绩
2014/06/06 面试题
师范应届生教师求职信
2013/11/05 职场文书
《燕子》教学反思
2014/02/18 职场文书
学校安全生产承诺书
2014/05/23 职场文书
2015年数学教师工作总结
2015/05/20 职场文书
公司业务员管理制度
2015/08/05 职场文书
原生Js 实现的简单无缝滚动轮播图的示例代码
2021/05/10 Javascript
Python虚拟环境virtualenv是如何使用的
2021/06/20 Python
java固定大小队列的几种实现方式详解
2021/07/15 Java/Android