python去除文件中重复的行实例


Posted in Python onJune 29, 2018

python去除文件中重复的行,我们可以设置一个一个空list,res_list,用来加入没有出现过的字符行!

如果出现在res_list,我们就认为该行句子已经重复了,可以再加入到记录重复句子的list中。

如下代码:

# -*- coding: UTF-8 -*-
#程序功能是为了完成判断文件中是否有重复句子
#并将重复句子打印出来
 
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
 index = index + 1
 if line in res_list:
  temp_str = ""
  temp_str = temp_str + str(index)     #要变为str才行
  temp_line = ''.join(line)
  temp_str = temp_str+temp_line
  #最终要变为str类型
  file_dul.write(temp_str);       #将重复的存入到文件中
 else:
  res_list.append(line)

以上这篇python去除文件中重复的行实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python sqlobject(mysql)中文乱码解决方法
Nov 14 Python
Python中条件选择和循环语句使用方法介绍
Mar 13 Python
python画图的函数用法以及技巧
Jun 28 Python
python 提取文件指定列的方法示例
Aug 07 Python
PyQt5如何将.ui文件转换为.py文件的实例代码
May 26 Python
python 写函数在一定条件下需要调用自身时的写法说明
Jun 01 Python
keras实现theano和tensorflow训练的模型相互转换
Jun 19 Python
你需要学会的8个Python列表技巧
Jun 24 Python
如何实现一个python函数装饰器(Decorator)
Oct 12 Python
python爬虫 requests-html的使用
Nov 30 Python
python中pivot()函数基础知识点
Jan 03 Python
python Autopep8实现按PEP8风格自动排版Python代码
Mar 02 Python
python获取指定字符串中重复模式最高的字符串方法
Jun 29 #Python
Python 利用内置set函数对字符串和列表进行去重的方法
Jun 29 #Python
Linux下python与C++使用dlib实现人脸检测
Jun 29 #Python
对python中两种列表元素去重函数性能的比较方法
Jun 29 #Python
Python数据持久化shelve模块用法分析
Jun 29 #Python
python 统计列表中不同元素的数量方法
Jun 29 #Python
python计算两个数的百分比方法
Jun 29 #Python
You might like
如何删除多级目录
2006/10/09 PHP
php 图片上添加透明度渐变的效果
2009/06/29 PHP
thinkPHP的表达式查询用法详解
2016/09/14 PHP
php实现微信公众平台发红包功能
2018/06/14 PHP
PHP结合Redis+MySQL实现冷热数据交换应用案例详解
2019/07/09 PHP
JavaScript静态的动态
2006/09/18 Javascript
jQuery创建插件的代码分析
2011/04/14 Javascript
JS正则中的RegExp对象对象
2012/11/07 Javascript
如何使Chrome控制台支持多行js模式——意外发现
2013/06/13 Javascript
JS连连看源码完美注释版(推荐)
2013/12/09 Javascript
浅谈Javascript 执行顺序
2013/12/18 Javascript
jQuery中hasClass()方法用法实例
2015/01/06 Javascript
jQuery实现的经典竖向伸缩菜单效果代码
2015/09/24 Javascript
javascript读取文本节点方法小结
2016/12/15 Javascript
jQuery实现贪吃蛇小游戏(附源码下载)
2017/03/04 Javascript
JavaScript实现父子dom同时绑定两个点击事件,一个用捕获,一个用冒泡时执行顺序的方法
2017/03/30 Javascript
原生JS+Canvas实现五子棋游戏
2020/05/28 Javascript
webpack3+React 的配置全解
2017/08/21 Javascript
vue-router 源码之实现一个简单的 vue-router
2018/07/02 Javascript
vue-router的两种模式的区别
2019/05/30 Javascript
layui富文本编辑器前端无法取值的解决方法
2019/09/18 Javascript
js简单实现自动生成表格功能示例
2020/06/02 Javascript
[03:49]显微镜下的DOTA2第十五期—VG登基之路完美团
2014/06/24 DOTA
Python多线程学习资料
2012/12/19 Python
python中使用mysql数据库详细介绍
2015/03/27 Python
Django中模型Model添加JSON类型字段的方法
2015/06/17 Python
Python 实现随机数详解及实例代码
2017/04/15 Python
利用aardio给python编写图形界面
2017/08/21 Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
2018/06/13 Python
django云端留言板实例详解
2019/07/22 Python
Python爬虫之Spider类用法简单介绍
2020/08/04 Python
定义css设备类型-Media Queries图表简介及使用方法
2013/01/21 HTML / CSS
荷兰和比利时时尚鞋店:Van Dalen
2018/04/23 全球购物
电工技术比武方案
2014/05/11 职场文书
八月迷情观后感
2015/06/11 职场文书
如何在C++中调用Python
2021/05/21 Python