python去除文件中重复的行实例


Posted in Python onJune 29, 2018

python去除文件中重复的行,我们可以设置一个一个空list,res_list,用来加入没有出现过的字符行!

如果出现在res_list,我们就认为该行句子已经重复了,可以再加入到记录重复句子的list中。

如下代码:

# -*- coding: UTF-8 -*-
#程序功能是为了完成判断文件中是否有重复句子
#并将重复句子打印出来
 
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
 index = index + 1
 if line in res_list:
  temp_str = ""
  temp_str = temp_str + str(index)     #要变为str才行
  temp_line = ''.join(line)
  temp_str = temp_str+temp_line
  #最终要变为str类型
  file_dul.write(temp_str);       #将重复的存入到文件中
 else:
  res_list.append(line)

以上这篇python去除文件中重复的行实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
多线程爬虫批量下载pcgame图片url 保存为xml的实现代码
Jan 17 Python
Python单链表简单实现代码
Apr 27 Python
Python的string模块中的Template类字符串模板用法
Jun 27 Python
pycharm中连接mysql数据库的步骤详解
May 02 Python
Python_LDA实现方法详解
Oct 25 Python
简单实现python画圆功能
Jan 25 Python
python的dataframe转换为多维矩阵的方法
Apr 11 Python
python批量替换多文件字符串问题详解
Apr 22 Python
Django 跨域请求处理的示例代码
May 02 Python
kaggle+mnist实现手写字体识别
Jul 26 Python
Python绘制KS曲线的实现方法
Aug 13 Python
Django之编辑时根据条件跳转回原页面的方法
Aug 21 Python
python获取指定字符串中重复模式最高的字符串方法
Jun 29 #Python
Python 利用内置set函数对字符串和列表进行去重的方法
Jun 29 #Python
Linux下python与C++使用dlib实现人脸检测
Jun 29 #Python
对python中两种列表元素去重函数性能的比较方法
Jun 29 #Python
Python数据持久化shelve模块用法分析
Jun 29 #Python
python 统计列表中不同元素的数量方法
Jun 29 #Python
python计算两个数的百分比方法
Jun 29 #Python
You might like
php file_get_contents函数轻松采集html数据
2010/04/22 PHP
wamp下修改mysql访问密码的解决方法
2013/05/07 PHP
PHP的Yii框架入门使用教程
2016/02/15 PHP
PHP设计模式之工厂模式实例总结
2017/09/01 PHP
WordPress伪静态规则设置代码实例
2020/12/10 PHP
jQuery实现简单下拉导航效果
2015/09/07 Javascript
js定时器实例分享
2016/12/20 Javascript
字太多用...代替的方法(两种)
2017/03/15 Javascript
Angularjs+bootstrap+table多选(全选)支持单击行选中实现编辑、删除功能
2017/03/27 Javascript
jQuery+ajax实现修改密码验证功能实例详解
2017/07/06 jQuery
JavaScript Date对象应用实例分享
2017/10/30 Javascript
mpvue小程序仿qq左滑置顶删除组件
2018/08/03 Javascript
使用axios请求时,发送formData请求的示例
2019/10/29 Javascript
vue跳转方式(打开新页面)及传参操作示例
2020/01/26 Javascript
对于Python的Django框架部署的一些建议
2015/04/09 Python
Python利用正则表达式实现计算器算法思路解析
2018/04/25 Python
python 怎样将dataframe中的字符串日期转化为日期的方法
2019/09/26 Python
window环境pip切换国内源(pip安装异常缓慢的问题)
2019/12/31 Python
PyCharm 在Windows的有用快捷键详解
2020/04/07 Python
Python使用matplotlib绘制圆形代码实例
2020/05/27 Python
python环境搭建和pycharm的安装配置及汉化详细教程(零基础小白版)
2020/08/19 Python
HTML5之SVG 2D入门4—笔画与填充
2013/01/30 HTML / CSS
html5 div布局与table布局详解
2016/11/16 HTML / CSS
Clarins娇韵诗英国官网:来自法国的天然护肤品牌
2017/04/18 全球购物
UNIONBAY官网:美国青少年服装品牌
2019/03/26 全球购物
递归实现回文判断(如:abcdedbca就是回文,判断一个面试者对递归理解的简单程序)
2013/04/28 面试题
Oracle快照(snapshot)
2015/03/13 面试题
.net软件工程师应聘上机试题
2015/03/10 面试题
中专生毕业自我鉴定
2013/11/01 职场文书
销售演讲稿范文
2014/01/08 职场文书
会计专业大学生职业生涯规划书
2014/02/11 职场文书
中班开学寄语
2014/04/04 职场文书
公司踏青活动方案
2014/08/16 职场文书
幼儿园心得体会范文
2016/01/21 职场文书
FP-growth算法发现频繁项集——发现频繁项集
2021/06/24 Python
阿里云服务器(windows)手动部署FTP站点详细教程
2022/08/05 Servers