python去除文件中重复的行实例


Posted in Python onJune 29, 2018

python去除文件中重复的行,我们可以设置一个一个空list,res_list,用来加入没有出现过的字符行!

如果出现在res_list,我们就认为该行句子已经重复了,可以再加入到记录重复句子的list中。

如下代码:

# -*- coding: UTF-8 -*-
#程序功能是为了完成判断文件中是否有重复句子
#并将重复句子打印出来
 
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
 index = index + 1
 if line in res_list:
  temp_str = ""
  temp_str = temp_str + str(index)     #要变为str才行
  temp_line = ''.join(line)
  temp_str = temp_str+temp_line
  #最终要变为str类型
  file_dul.write(temp_str);       #将重复的存入到文件中
 else:
  res_list.append(line)

以上这篇python去除文件中重复的行实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 条件判断的缩写方法
Sep 06 Python
python每次处理固定个数的字符的方法总结
Jan 29 Python
python 字典(dict)遍历的四种方法性能测试报告
Jun 25 Python
Python进行数据科学工作的简单入门教程
Apr 01 Python
Django对数据库进行添加与更新的例子
Jul 12 Python
python打印直角三角形与等腰三角形实例代码
Oct 20 Python
Python实现隐马尔可夫模型的前向后向算法的示例代码
Dec 31 Python
python通过matplotlib生成复合饼图
Feb 06 Python
Python退出时强制运行一段代码的实现方法
Apr 29 Python
Python如何自动获取目标网站最新通知
Jun 18 Python
Python批量删除mysql中千万级大量数据的脚本分享
Dec 03 Python
你需要掌握的20个Python常用技巧
Feb 28 Python
python获取指定字符串中重复模式最高的字符串方法
Jun 29 #Python
Python 利用内置set函数对字符串和列表进行去重的方法
Jun 29 #Python
Linux下python与C++使用dlib实现人脸检测
Jun 29 #Python
对python中两种列表元素去重函数性能的比较方法
Jun 29 #Python
Python数据持久化shelve模块用法分析
Jun 29 #Python
python 统计列表中不同元素的数量方法
Jun 29 #Python
python计算两个数的百分比方法
Jun 29 #Python
You might like
PHP的构造方法,析构方法和this关键字详细介绍
2013/10/22 PHP
php文件上传简单实现方法
2015/01/24 PHP
php实现购物车功能(上)
2020/07/23 PHP
PHP使用mysql与mysqli连接Mysql数据库用法示例
2016/07/07 PHP
php基于PDO连接MSSQL示例DEMO
2016/07/13 PHP
thinkPHP5.0框架事务处理操作简单示例
2018/09/07 PHP
PHP中散列密码的安全性分析
2019/07/26 PHP
javascript window对象属性整理
2009/10/24 Javascript
JS request函数 用来获取url参数
2010/05/17 Javascript
jQuery 拖动层(在可视区域范围内)
2012/05/24 Javascript
JavaScript数组迭代器实例分析
2015/06/09 Javascript
js仿黑客帝国字母掉落效果代码分享
2020/11/08 Javascript
原生js实现ajax方法(超简单)
2016/09/20 Javascript
javascript设置文本框光标的方法实例小结
2016/11/04 Javascript
js 将input框中的输入自动转化成半角大写(税号输入框)
2017/02/16 Javascript
简单实现js点击展开二级菜单功能
2017/05/16 Javascript
Vue.js tab实现选项卡切换
2017/05/16 Javascript
JQuery用$.ajax或$.getJSON跨域获取JSON数据的实现代码
2017/09/23 jQuery
jquery ztree实现右键收藏功能
2017/11/20 jQuery
Element-ui table中过滤条件变更表格内容的方法
2018/03/02 Javascript
详解angular应用容器化部署
2018/08/14 Javascript
Json实现传值到后台代码实例
2020/06/30 Javascript
Python中的高级函数map/reduce使用实例
2015/04/13 Python
Python字符串切片操作知识详解
2016/03/28 Python
浅析Python pandas模块输出每行中间省略号问题
2018/07/03 Python
如何用Python来搭建一个简单的推荐系统
2019/08/07 Python
python pyinstaller打包exe报错的解决方法
2019/11/02 Python
Pycharm中配置远程Docker运行环境的教程图解
2020/06/11 Python
一款纯css3实现的动画加载导航
2014/10/08 HTML / CSS
使用CSS3制作响应式导航菜单的方法
2015/07/12 HTML / CSS
Soft Cotton捷克:来自爱琴海棉花的浴袍
2017/02/01 全球购物
全球500多个机场的接送服务:Suntransfers
2019/06/03 全球购物
幼儿教师个人求职信范文
2013/09/21 职场文书
白莲教口号
2014/06/18 职场文书
实训报告范文大全
2014/11/04 职场文书
单位工资证明范本
2015/06/12 职场文书