python如何删除文件中重复的字段


Posted in Python onJuly 16, 2019

本文实例为大家分享了python如何删除文件中重复字段的具体代码,供大家参考,具体内容如下

原文件内容放在list中,新文件内容按行查找,如果没有出现在list中则写入第三个文件中。

import csv

filetxt1 = 'E:/gg/log/log1.txt'
filecsv1 = 'E:/gg/log/log1.csv'
filecsv2 = 'E:/gg/log/log2.csv'
filecsv3 = 'E:/gg/log/log3.csv'


class operFileCsv():
 def __init__(self, filename=None):
  self.filename = filename

 def readCsvFile(self):
  readCsvHandler = open(self.filename, 'r')
  filelines = csv.reader(readCsvHandler, dialect='excel')
  for fileline in filelines:
   print(fileline)
  readCsvHandler.close

 def writeCsvFile(self, writeline):
  writeCsvHandler = open(self.filename, 'a', newline='')
  csvWrite = csv.writer(writeCsvHandler, dialect='excel', )
  csvWrite.writerow(writeline)
  writeCsvHandler.close()


class getLogBuffFromFile():
 def __init__(self):
  self.logBuff1 = []

 def getLog1Buff(self, filename):
  with open(filename) as filehandler:
   while True:
    logOneLine = filehandler.readline().strip()
    if not logOneLine:
     break
    self.logBuff1.append(logOneLine)
  # print('TRACE: The log1 has ', len(self.logBuff1), ' lines.')
  return self.logBuff1

 def getLog2Buff(self, logOneLine):
  pass


class deleteIterantLog():
 def __init__(self):
  self.logBuff1List = None
  self.logBuff2OneLine = None

 def deleteProcedure(self, oldlog, newlog, createlog):
  self.logBuff1List = getLogBuffFromFile().getLog1Buff(oldlog)
  self.dealProcedure(newlog, createlog)

 def dealProcedure(self, file1name, file2name):
  with open(file1name, 'r') as readCsvHandler:
   filelines = csv.reader(readCsvHandler, dialect='excel')
   for fileline in filelines:
    if fileline[1] not in self.logBuff1List:
     operFileCsv(file2name).writeCsvFile(fileline)


if __name__ == '__main__':
 deleteIterantLog().deleteProcedure(filetxt1, filecsv2, filecsv3)

小编再为大家分享一段Python用集合把文本中重复的字去掉的方法:

import os,sys,datetime
import codecs
with open('aaaaa.txt', 'r') as f:  #读入文本中的文件
 l = f.readlines() # txt中所有字符串读入data
 x=set(l[0])
 for i in range(1,len(l)):
  x.update(l[i])
 s="".join(list(x))
 print(s)
with open('result.txt','wb') as f1: #把结果写到文件result中
 b=bytes(s,encoding="utf-8") 
 f1.write(b)

更多关于python安装教程的文章请参考《python各版本安装教程》

更多精彩书单,请点击python编程必备书单

领取干货:零基础入门学习python视频教程

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python计算时间差的方法
May 20 Python
python学习之第三方包安装方法(两种方法)
Jul 30 Python
Python在信息学竞赛中的运用及Python的基本用法(详解)
Aug 15 Python
Python机器学习之K-Means聚类实现详解
Feb 22 Python
Python实现模拟登录网易邮箱的方法示例
Jul 05 Python
python实现RabbitMQ的消息队列的示例代码
Nov 08 Python
Python的iOS自动化打包实例代码
Nov 22 Python
python样条插值的实现代码
Dec 17 Python
python获取当前文件路径以及父文件路径的方法
Jul 10 Python
python Matplotlib底图中鼠标滑过显示隐藏内容的实例代码
Jul 31 Python
如何解决django-celery启动后迅速关闭
Oct 16 Python
Pytorch 实现权重初始化
Dec 31 Python
python字符串切割:str.split()与re.split()的对比分析
Jul 16 #Python
Python使用正则表达式分割字符串的实现方法
Jul 16 #Python
Python Django切换MySQL数据库实例详解
Jul 16 #Python
Python二维码生成识别实例详解
Jul 16 #Python
python3.6+selenium实现操作Frame中的页面元素
Jul 16 #Python
Python Web版语音合成实例详解
Jul 16 #Python
windows下python虚拟环境virtualenv安装和使用详解
Jul 16 #Python
You might like
PHP.MVC的模板标签系统(三)
2006/09/05 PHP
PHP个人网站架设连环讲(三)
2006/10/09 PHP
基于yaf框架和uploadify插件,做的一个导入excel文件,查看并保存数据的功能
2017/01/24 PHP
Thinkphp3.2简单解决多文件上传只上传一张的问题
2017/09/26 PHP
PHP创建XML的方法示例【基于DOMDocument类及SimpleXMLElement类】
2019/09/10 PHP
javascript 混合的构造函数和原型方式,动态原型方式
2009/12/07 Javascript
解决jquery的datepicker的本地化以及Today问题
2012/05/23 Javascript
javascript实现促销倒计时+fixed固定在底部
2013/09/18 Javascript
jQuery获取动态生成的元素示例
2014/06/15 Javascript
js限制input标签中只能输入中文
2015/06/26 Javascript
jQuery获取checkbox选中的值
2016/01/28 Javascript
在vue项目中使用Jquery-contextmenu插件的步骤讲解
2019/01/27 jQuery
Angular使用ControlValueAccessor创建自定义表单控件
2019/03/08 Javascript
你了解vue3.0响应式数据怎么实现吗
2019/06/07 Javascript
vue引用外部JS的两种种方法
2020/01/28 Javascript
[02:54]DOTA2亚洲邀请赛 VG战队出场宣传片
2015/02/07 DOTA
python list使用示例 list中找连续的数字
2014/01/27 Python
Python聊天室程序(基础版)
2018/04/01 Python
Python 十六进制整数与ASCii编码字符串相互转换方法
2018/07/09 Python
Django框架的中的setting.py文件说明详解
2018/10/15 Python
python使用Pandas库提升项目的运行速度过程详解
2019/07/12 Python
python 多进程并行编程 ProcessPoolExecutor的实现
2019/10/11 Python
Python可变对象与不可变对象原理解析
2020/02/25 Python
浅析python连接数据库的重要事项
2021/02/22 Python
美国领先的男士和女士内衣购物网站:Freshpair
2019/02/25 全球购物
数控专业大学毕业生职业规划范文
2014/02/06 职场文书
财产公证书样本
2014/04/04 职场文书
小学科学教学计划
2015/01/21 职场文书
德能勤绩廉个人总结
2015/02/14 职场文书
升职自荐信怎么写
2015/03/05 职场文书
初中班主任工作随笔
2015/08/15 职场文书
护士岗前培训心得体会
2016/01/08 职场文书
多人股份制合作协议书
2016/03/19 职场文书
经典励志格言:每日一句,让你每天充满能量
2019/08/16 职场文书
Pytorch使用shuffle打乱数据的操作
2021/05/20 Python
浅谈python中的多态
2021/06/15 Python