python去除文件中重复的行实例


Posted in Python onJune 29, 2018

python去除文件中重复的行,我们可以设置一个一个空list,res_list,用来加入没有出现过的字符行!

如果出现在res_list,我们就认为该行句子已经重复了,可以再加入到记录重复句子的list中。

如下代码:

# -*- coding: UTF-8 -*-
#程序功能是为了完成判断文件中是否有重复句子
#并将重复句子打印出来
 
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
 index = index + 1
 if line in res_list:
  temp_str = ""
  temp_str = temp_str + str(index)     #要变为str才行
  temp_line = ''.join(line)
  temp_str = temp_str+temp_line
  #最终要变为str类型
  file_dul.write(temp_str);       #将重复的存入到文件中
 else:
  res_list.append(line)

以上这篇python去除文件中重复的行实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的数据结构与算法之基本搜索详解
Apr 22 Python
python安装模块如何通过setup.py安装(超简单)
May 05 Python
python bmp转换为jpg 并删除原图的方法
Oct 25 Python
pandas DataFrame 删除重复的行的实现方法
Jan 29 Python
详解Python正则表达式re模块
Mar 19 Python
Python3.5迭代器与生成器用法实例分析
Apr 30 Python
处理python中多线程与多进程中的数据共享问题
Jul 28 Python
python数据预处理 :数据共线性处理详解
Feb 24 Python
Python使用Pyqt5实现简易浏览器(最新版本测试过)
Apr 27 Python
Python实现动态循环输出文字功能
May 07 Python
基于Python实现体育彩票选号器功能代码实例
Sep 16 Python
Alpine安装Python3依赖出现的问题及解决方法
Dec 25 Python
python获取指定字符串中重复模式最高的字符串方法
Jun 29 #Python
Python 利用内置set函数对字符串和列表进行去重的方法
Jun 29 #Python
Linux下python与C++使用dlib实现人脸检测
Jun 29 #Python
对python中两种列表元素去重函数性能的比较方法
Jun 29 #Python
Python数据持久化shelve模块用法分析
Jun 29 #Python
python 统计列表中不同元素的数量方法
Jun 29 #Python
python计算两个数的百分比方法
Jun 29 #Python
You might like
用PHP和ACCESS写聊天室(三)
2006/10/09 PHP
采用header定义为文件然后readfile下载(隐藏下载地址)
2014/01/31 PHP
Yii框架结合sphinx,Ajax实现搜索分页功能示例
2016/10/18 PHP
php PDO属性设置与操作方法分析
2018/12/27 PHP
PHP消息队列实现及应用详解【队列处理订单系统和配送系统】
2019/05/20 PHP
Javascript中的常见排序算法
2007/03/27 Javascript
JS版的date函数(和PHP的date函数一样)
2014/05/12 Javascript
JS获取CSS样式(style/getComputedStyle/currentStyle)
2016/01/19 Javascript
基于javascript制作微博发布栏效果
2016/04/04 Javascript
浅谈javascript中遇到的字符串对象处理
2016/11/18 Javascript
jQuery使用JSONP实现跨域获取数据的三种方法详解
2017/05/04 jQuery
[js高手之路]原型式继承与寄生式继承详解
2017/08/28 Javascript
JS抛物线动画实例制作
2018/02/24 Javascript
通过JavaScript下载文件到本地的方法(单文件)
2019/03/17 Javascript
浅谈JavaScript_DOM学习篇_图片切换小案例
2019/03/19 Javascript
微信小程序HTTP接口请求封装代码实例
2019/09/05 Javascript
[15:35]教你分分钟做大人:天怒法师
2014/10/30 DOTA
[01:19:33]DOTA2-DPC中国联赛 正赛 iG vs VG BO3 第一场 2月2日
2021/03/11 DOTA
Python struct模块解析
2014/06/12 Python
浅谈Python的list中的选取范围
2018/11/12 Python
对django xadmin自定义菜单的实例详解
2019/01/03 Python
浅谈pandas筛选出表中满足另一个表所有条件的数据方法
2019/02/08 Python
Python Django 添加首页尾页上一页下一页代码实例
2019/08/21 Python
Python3+Requests+Excel完整接口自动化测试框架的实现
2019/10/11 Python
win10下python2和python3共存问题解决方法
2019/12/23 Python
python 实现分组求和与分组累加求和代码
2020/05/18 Python
CSS3属性box-shadow使用指南
2014/12/09 HTML / CSS
布里斯班女装时尚品牌:Adrift
2017/12/28 全球购物
BLACKMORES澳洲官网:澳大利亚排名第一的保健品牌
2018/09/27 全球购物
手工制作的豪华英式沙发和沙发床:Willow & Hall
2019/05/03 全球购物
C/C++ 笔试、面试题目大汇总
2015/11/21 面试题
数据库设计的包括哪两种,请分别进行说明
2016/07/15 面试题
公务员诚信承诺书
2014/05/26 职场文书
企业标语口号
2014/06/10 职场文书
2014-2015学年工作总结
2014/11/27 职场文书
财政局个人年终总结
2015/03/03 职场文书