python如何删除文件中重复的字段


Posted in Python onJuly 16, 2019

本文实例为大家分享了python如何删除文件中重复字段的具体代码,供大家参考,具体内容如下

原文件内容放在list中,新文件内容按行查找,如果没有出现在list中则写入第三个文件中。

import csv

filetxt1 = 'E:/gg/log/log1.txt'
filecsv1 = 'E:/gg/log/log1.csv'
filecsv2 = 'E:/gg/log/log2.csv'
filecsv3 = 'E:/gg/log/log3.csv'


class operFileCsv():
 def __init__(self, filename=None):
  self.filename = filename

 def readCsvFile(self):
  readCsvHandler = open(self.filename, 'r')
  filelines = csv.reader(readCsvHandler, dialect='excel')
  for fileline in filelines:
   print(fileline)
  readCsvHandler.close

 def writeCsvFile(self, writeline):
  writeCsvHandler = open(self.filename, 'a', newline='')
  csvWrite = csv.writer(writeCsvHandler, dialect='excel', )
  csvWrite.writerow(writeline)
  writeCsvHandler.close()


class getLogBuffFromFile():
 def __init__(self):
  self.logBuff1 = []

 def getLog1Buff(self, filename):
  with open(filename) as filehandler:
   while True:
    logOneLine = filehandler.readline().strip()
    if not logOneLine:
     break
    self.logBuff1.append(logOneLine)
  # print('TRACE: The log1 has ', len(self.logBuff1), ' lines.')
  return self.logBuff1

 def getLog2Buff(self, logOneLine):
  pass


class deleteIterantLog():
 def __init__(self):
  self.logBuff1List = None
  self.logBuff2OneLine = None

 def deleteProcedure(self, oldlog, newlog, createlog):
  self.logBuff1List = getLogBuffFromFile().getLog1Buff(oldlog)
  self.dealProcedure(newlog, createlog)

 def dealProcedure(self, file1name, file2name):
  with open(file1name, 'r') as readCsvHandler:
   filelines = csv.reader(readCsvHandler, dialect='excel')
   for fileline in filelines:
    if fileline[1] not in self.logBuff1List:
     operFileCsv(file2name).writeCsvFile(fileline)


if __name__ == '__main__':
 deleteIterantLog().deleteProcedure(filetxt1, filecsv2, filecsv3)

小编再为大家分享一段Python用集合把文本中重复的字去掉的方法:

import os,sys,datetime
import codecs
with open('aaaaa.txt', 'r') as f:  #读入文本中的文件
 l = f.readlines() # txt中所有字符串读入data
 x=set(l[0])
 for i in range(1,len(l)):
  x.update(l[i])
 s="".join(list(x))
 print(s)
with open('result.txt','wb') as f1: #把结果写到文件result中
 b=bytes(s,encoding="utf-8") 
 f1.write(b)

更多关于python安装教程的文章请参考《python各版本安装教程》

更多精彩书单,请点击python编程必备书单

领取干货:零基础入门学习python视频教程

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python编写一个模仿CPU工作的程序
Apr 16 Python
Python机器学习logistic回归代码解析
Jan 17 Python
django 实现电子支付功能的示例代码
Jul 25 Python
Windows下将Python文件打包成.EXE可执行文件的方法
Aug 03 Python
python3实现字符串操作的实例代码
Apr 16 Python
python 实现读取csv数据,分类求和 再写进 csv
May 18 Python
基于Python脚本实现邮件报警功能
May 20 Python
opencv-python的RGB与BGR互转方式
Jun 02 Python
python字典的值可以修改吗
Jun 29 Python
详解基于Facecognition+Opencv快速搭建人脸识别及跟踪应用
Jan 21 Python
python文件名批量重命名脚本实例代码
Apr 22 Python
python非标准时间的转换
Jul 25 Python
python字符串切割:str.split()与re.split()的对比分析
Jul 16 #Python
Python使用正则表达式分割字符串的实现方法
Jul 16 #Python
Python Django切换MySQL数据库实例详解
Jul 16 #Python
Python二维码生成识别实例详解
Jul 16 #Python
python3.6+selenium实现操作Frame中的页面元素
Jul 16 #Python
Python Web版语音合成实例详解
Jul 16 #Python
windows下python虚拟环境virtualenv安装和使用详解
Jul 16 #Python
You might like
留言板翻页的实现详解
2006/10/09 PHP
mysql5写入和读出乱码解决
2006/11/25 PHP
用php解析html的实现代码
2011/08/08 PHP
详解php与ethereum客户端交互
2018/04/28 PHP
解决laravel 表单提交-POST 异常的问题
2019/10/15 PHP
捕获浏览器关闭、刷新事件不同情况下的处理方法
2013/06/02 Javascript
JavaScript中this的使用详解
2013/11/08 Javascript
js随机生成字母数字组合的字符串 随机动画数字
2015/09/02 Javascript
详解js产生对象的3种基本方式(工厂模式,构造函数模式,原型模式)
2017/01/09 Javascript
JS 验证密码 不能为空,必须含有数字、字母、特殊字符,长度在8-12位
2017/06/21 Javascript
jQuery实现打开网页自动弹出遮罩层或点击弹出遮罩层功能示例
2017/10/19 jQuery
angular 组件通信的几种实现方式
2018/07/13 Javascript
解决angularjs前后端分离调用接口传递中文时中文乱码的问题
2018/08/13 Javascript
小程序scroll-view安卓机隐藏横向滚动条的实现详解
2019/05/16 Javascript
微信小程序实现点击空白隐藏的方法示例
2019/08/13 Javascript
在layui中select更改后生效的方法
2019/09/05 Javascript
vue 全局环境切换问题
2019/10/27 Javascript
python基础教程之udp端口扫描
2014/02/10 Python
python基础教程之五种数据类型详解
2017/01/12 Python
python实现读取并显示图片的两种方法
2017/01/13 Python
在cmd命令行里进入和退出Python程序的方法
2018/05/12 Python
详解Python3注释知识点
2019/02/19 Python
如何通过python画loss曲线的方法
2019/06/26 Python
python tkinter窗口最大化的实现
2019/07/15 Python
用Python配平化学方程式的方法
2019/07/20 Python
Python基于类路径字符串获取静态属性
2020/03/12 Python
python爬取天气数据的实例详解
2020/11/20 Python
Django视图类型总结
2021/02/17 Python
纯css3实现宠物小鸡实例代码
2018/10/08 HTML / CSS
html5贪吃蛇游戏使用63行代码完美实现
2013/06/25 HTML / CSS
Cotton On美国网站:澳洲时装连锁品牌
2016/10/25 全球购物
屈臣氏泰国官网:Watsons TH
2021/02/23 全球购物
暑期培训随笔感言
2014/03/10 职场文书
测绘工程专业求职信
2014/07/15 职场文书
原来闭幕词是这样写的呀!
2019/07/01 职场文书
Vscode中SSH插件如何远程连接Linux
2022/05/02 Servers