python如何删除文件中重复的字段


Posted in Python onJuly 16, 2019

本文实例为大家分享了python如何删除文件中重复字段的具体代码,供大家参考,具体内容如下

原文件内容放在list中,新文件内容按行查找,如果没有出现在list中则写入第三个文件中。

import csv

filetxt1 = 'E:/gg/log/log1.txt'
filecsv1 = 'E:/gg/log/log1.csv'
filecsv2 = 'E:/gg/log/log2.csv'
filecsv3 = 'E:/gg/log/log3.csv'


class operFileCsv():
 def __init__(self, filename=None):
  self.filename = filename

 def readCsvFile(self):
  readCsvHandler = open(self.filename, 'r')
  filelines = csv.reader(readCsvHandler, dialect='excel')
  for fileline in filelines:
   print(fileline)
  readCsvHandler.close

 def writeCsvFile(self, writeline):
  writeCsvHandler = open(self.filename, 'a', newline='')
  csvWrite = csv.writer(writeCsvHandler, dialect='excel', )
  csvWrite.writerow(writeline)
  writeCsvHandler.close()


class getLogBuffFromFile():
 def __init__(self):
  self.logBuff1 = []

 def getLog1Buff(self, filename):
  with open(filename) as filehandler:
   while True:
    logOneLine = filehandler.readline().strip()
    if not logOneLine:
     break
    self.logBuff1.append(logOneLine)
  # print('TRACE: The log1 has ', len(self.logBuff1), ' lines.')
  return self.logBuff1

 def getLog2Buff(self, logOneLine):
  pass


class deleteIterantLog():
 def __init__(self):
  self.logBuff1List = None
  self.logBuff2OneLine = None

 def deleteProcedure(self, oldlog, newlog, createlog):
  self.logBuff1List = getLogBuffFromFile().getLog1Buff(oldlog)
  self.dealProcedure(newlog, createlog)

 def dealProcedure(self, file1name, file2name):
  with open(file1name, 'r') as readCsvHandler:
   filelines = csv.reader(readCsvHandler, dialect='excel')
   for fileline in filelines:
    if fileline[1] not in self.logBuff1List:
     operFileCsv(file2name).writeCsvFile(fileline)


if __name__ == '__main__':
 deleteIterantLog().deleteProcedure(filetxt1, filecsv2, filecsv3)

小编再为大家分享一段Python用集合把文本中重复的字去掉的方法:

import os,sys,datetime
import codecs
with open('aaaaa.txt', 'r') as f:  #读入文本中的文件
 l = f.readlines() # txt中所有字符串读入data
 x=set(l[0])
 for i in range(1,len(l)):
  x.update(l[i])
 s="".join(list(x))
 print(s)
with open('result.txt','wb') as f1: #把结果写到文件result中
 b=bytes(s,encoding="utf-8") 
 f1.write(b)

更多关于python安装教程的文章请参考《python各版本安装教程》

更多精彩书单,请点击python编程必备书单

领取干货:零基础入门学习python视频教程

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现从一组颜色中找出与给定颜色最接近颜色的方法
Mar 19 Python
python中enumerate函数遍历元素用法分析
Mar 11 Python
Python函数式编程
Jul 20 Python
tensorflow中next_batch的具体使用
Feb 02 Python
python去掉空白行的多种实现代码
Mar 19 Python
python如何使用unittest测试接口
Apr 04 Python
python中的句柄操作的方法示例
Jun 20 Python
python快速编写单行注释多行注释的方法
Jul 31 Python
pycharm双击无响应(打不开问题解决办法)
Jan 10 Python
关于keras中keras.layers.merge的用法说明
May 23 Python
浅谈Python协程
Jun 17 Python
django使用graphql的实例
Sep 02 Python
python字符串切割:str.split()与re.split()的对比分析
Jul 16 #Python
Python使用正则表达式分割字符串的实现方法
Jul 16 #Python
Python Django切换MySQL数据库实例详解
Jul 16 #Python
Python二维码生成识别实例详解
Jul 16 #Python
python3.6+selenium实现操作Frame中的页面元素
Jul 16 #Python
Python Web版语音合成实例详解
Jul 16 #Python
windows下python虚拟环境virtualenv安装和使用详解
Jul 16 #Python
You might like
php 读取文件乱码问题
2010/02/20 PHP
php 生成文字png图片的代码
2011/04/17 PHP
PHP isset()与empty()的使用区别详解
2017/02/10 PHP
JQuery validate插件验证用户注册信息
2016/05/11 Javascript
vue实现可增删查改的成绩单
2016/10/27 Javascript
使用Angular.js实现简单的购物车功能
2016/11/21 Javascript
JS实现选定指定HTML元素对象中指定文本内容功能示例
2017/02/13 Javascript
Node.JS利用PhantomJs抓取网页入门教程
2017/05/19 Javascript
Vue框架中正确引入JS库的方法介绍
2017/07/30 Javascript
十个免费的web前端开发工具详细整理
2017/09/18 Javascript
JavaScript for循环 if判断语句(学习笔记)
2017/10/11 Javascript
vue.js前后端数据交互之提交数据操作详解
2018/04/24 Javascript
深入理解与使用keep-alive(配合router-view缓存整个路由页面)
2018/09/25 Javascript
Angular 实现输入框中显示文章标签的实例代码
2018/11/07 Javascript
Python操作sqlite3快速、安全插入数据(防注入)的实例
2014/04/26 Python
python实现简单的TCP代理服务器
2014/10/08 Python
Python 26进制计算实现方法
2015/05/28 Python
Python中断言Assertion的一些改进方案
2016/10/27 Python
flask + pymysql操作Mysql数据库的实例
2017/11/13 Python
使用Python的package机制如何简化utils包设计详解
2017/12/11 Python
python自动登录12306并自动点击验证码完成登录的实现源代码
2018/04/25 Python
python 同时运行多个程序的实例
2019/01/07 Python
pyQt5实时刷新界面的示例
2019/06/25 Python
PyQt5实现暗黑风格的计时器
2019/07/29 Python
详解python 利用echarts画地图(热力图)(世界地图,省市地图,区县地图)
2019/08/06 Python
在python3中实现更新界面
2020/02/21 Python
HTML5 语音搜索只需一句代码
2013/01/03 HTML / CSS
NBA欧洲商店(英国):NBA Europe Store UK
2018/07/27 全球购物
乡镇交通安全实施方案
2014/03/29 职场文书
教师演讲稿大全
2014/05/16 职场文书
个人违纪检讨书
2014/09/15 职场文书
2014年医务科工作总结
2014/12/18 职场文书
大学生旷课检讨书1000字
2015/02/19 职场文书
2016预备党员培训心得体会
2016/01/08 职场文书
2016优秀班主任个人先进事迹材料
2016/02/26 职场文书
Win11使用CAD卡顿或者致命错误怎么办?Win11无法正常使用CAD的解决方法
2022/07/23 数码科技