python批量查询、汉字去重处理CSV文件


Posted in Python onMay 31, 2018

CSV文件用记事本打开后一般为由逗号隔开的字符串,其处理方法用Python的代码如下。为方便各种程度的人阅读在代码中有非常详细的注释。

1.查询指定列,并保存到新的csv文件。

# -*- coding: utf-8 -*- 
''''' 
Author: Good_Night 
Time: 2018/1/30 03:50 
Edition: 1.0 
''' 
# 导入必须的csv库 
import csv 
 
# 创建临时文件temp.csv找出所需要的列 
temp_file = open("temp.csv", "w", newline='') # 如果不指定newline='',则每写入一行将有一空行被写入 
temp_csv_writer = csv.writer(temp_file, dialect="excel") 
# 读取input.csv文件,此时只有指定的一列数据 
with open('input.csv') as file: 
  temp_readcsv = csv.reader(file, delimiter=',') 
  for row in temp_readcsv: # 取出input.csv所有列数据 
    temp = [row[3]] # 得到指定列数据 
#    print(row[3])  #print()打印input.csv文件中第3列所有数据 
    temp_csv_writer.writerow(temp) # 第3列每行数据循环写入temp.csv文件中 
temp_file.close()

2.查询指定列中,每行数据出现在所有行数据的次数,并保存到新的csv文件。

# -*- coding: utf-8 -*- 
''''' 
Author: Good_Night 
Time: 2018/1/30 03:50 
Edition: 1.0 
''' 
# 导入必须的csv库 
import csv 
 
# 创建临时文件temp.csv找出所需要的列 
temp_file = open("temp.csv", "w", newline='') # 如果不指定newline='',则每写入一行将有一空行被写入 
temp_csv_writer = csv.writer(temp_file, dialect="excel") 
# 读取input.csv文件,此时只有指定的一列数据 
with open('input.csv') as file: 
  temp_readcsv = csv.reader(file, delimiter=',') 
  for row in temp_readcsv: # 取出input.csv所有列数据 
    temp = [row[3]] # 得到指定列数据 
#    print(row[3])  #print()打印input.csv文件中第3列所有数据 
    temp_csv_writer.writerow(temp) # 第3列每行数据循环写入temp.csv文件中 
temp_file.close() 
 
# 在临时文件基础上匹配所要找的数据,计算出次数生成out.csv文件 
flag = 0 # 临时变量 
out1 = [] # 新建数组来保存指定列的每行数据 
time = [] # 新建数组来保存指定列的每行数据出现的次数 
out_file = open("out.csv", "w", newline='') # 如果不指定newline='',则每写入一行将有一空行被写入 
out_csv_writer = csv.writer(out_file, dialect="excel") 
out_csv_writer.writerow(["TIMES"]) 
# 读取temp.csv文件,此时只有指定的一列数据 
with open('temp.csv') as file2: 
  out_readcsv = csv.reader(file2, delimiter=',') 
  for St in out_readcsv: # 循环取出列的每行数据 
    out1.append(St) # append()将列的每行数据变为out1链表(list)的后续增加的元素,即将列数据变为一维数组。 
#  print(out1[1]) # 打印out1[n]的第n个元素,即原列的第n行元素 
  for i in range(len(out1)): # len()获得out1链表(list)中元素的个数,便于判断循环次数。 
#    print(out1[i]) # 打印out1链表所有元素,检验循环是否出错 
    flag = out1.count(out1[i]) # count()获得out1链表中第i个元素在所有元素中出现的次数。 
    time.append(flag) # 将获得的某元素出现的次数按顺序保存至time[]数组里 
#  print(time) # 打印显示所有元素出现的次数,判断是否出错 
  for j in range(len(out1)): # len()得到out1链表元素个数,依此作为time[]查找下标 
    times = [time[j]] # 取出元素对应出现的次数 
    out_csv_writer.writerow(times) # 写入out.csv文件里 
    print(times) # 打印显示次数 
out_file.close()

因为是批量处理嘛~所以写的是所有数据重复出现的次数(但这个有点BUG,可能看完代码就知道了,没有去重!!!举个例子说a出现在第一行和第三行共2次,结果出来后就是第一行出现a,对应次数为2,第三行又出现a,对应次数也是2....这就是没有去重的麻烦之处,重复的数据会再次显示。)。但稍微修改一下可实现搜索某一数据出现的次数啦~

3.查询指定列中,每行数据出现在所有行数据的次数,去重处理后,并保存到新的csv文件。

一般去重都是数字或者字符去重,可以直接调用相应函数,而汉字去重就比只能循环比较了。所以这个算是包容性相当大的一种方式。

# -*- coding: utf-8 -*- 
''''' 
Author: Good Night 
Time: 2018/2/7 18:50 
Edition: 2.0 
''' 
# 导入必须的csv库 
import csv 
 
# 创建临时文件temp.csv找出所需要的列 
temp_file = open("temp.csv", "w", newline='') # 如果不指定newline='',则每写入一行将有一空行被写入 
temp_csv_writer = csv.writer(temp_file, dialect="excel") 
# 读取input.csv文件,此时只有指定的一列数据 
with open('input.csv') as file: 
  temp_readcsv = csv.reader(file, delimiter=',') 
  for row in temp_readcsv: # 取出input.csv所有列数据 
    temp = [row[3]] # 得到指定列数据 
#    print(row[3]) #print()打印input.csv文件中第3列所有数据 
    temp_csv_writer.writerow(temp) # 第3列每行数据循环写入temp.csv文件中 
temp_file.close() 
 
# 在临时文件基础上匹配所要找的数据,计算出次数生成out.csv文件 
out1 = [] # 新建数组来保存指定列的每行数据 
out_time = [] # 新建数组来保存指定列的每行数据出现的次数 
out_file = open("out.csv", "w", newline='') # 如果不指定newline='',则每写入一行将有一空行被写入 
out_csv_writer = csv.writer(out_file, dialect="excel") 
out_csv_writer.writerow(["ID", "TIMES"]) # 写入标题 数据,出现次数 
# 读取temp.csv文件,此时只有指定的一列数据 
with open('temp.csv') as file2: 
  out_readcsv = csv.reader(file2, delimiter=',') 
  for St in out_readcsv: # 循环取出列的每行数据 
    out1.append(St) # append()将列的每行数据变为out1链表(list)的后续增加的元素,即将列数据变为一维数组。 
  print(out1)  # 打印out1[n]的第n个元素,即原列的第n行元素 
 
# list的迭代其实是以list中项的序列号来遍历的,不会因为list的的改变而改变, 
# 永远都是按照序号的0,1,2...遍历。当删除其中某一项时,它之后的每一项的序列号各往前移一项. 
# 当遍历list时,若发现0项是重复项(因为内嵌函数均处理第一个发现项),于是将其移除。当移除0项时, 
# 原来的1项变为0项,以此类推。此时list迭代由1开始(0项已过),但此时的1项是原list的2项,这样子就漏掉原list的1项! 
  # 可以将list反转来进行删除操作,其本质就是放当发现某项具有重复项时,就从后往前删除。 
  # 比如迭代0项发现1项是它的重复项,那么就删除1项,删除1项后2项变1项,而此时list迭代正则到了1项。 
  # 从原始list的角度上来说,就跳过了1项。但是它却不影响去重,因为它跳过的是重复项。 
  # list的不重复迭代反而使去重效率更高且不会漏掉不重复项。因此原始list直接去重的核心问题不是迭代的漏项,而是迭代不能漏掉不重复项。 
  for i in out1: 
    a = out1.count(i) # 取元素 
    out_time.append(a) # 得到出现的次数 
#    print(i, a) 
    if a > 1: 
      out1.reverse() # 将list反转来进行删除操作 
      for k in range(1, a): 
        out1.remove(i) # 从后往前删除直到最前面的第一个为止,这样即删除了后面的,又保留了第一个! 
      out1.reverse() # 将list再反转回来,保证下次循环又是从原始顺序来删除 
  print(out1) # 此时out1链表(list)即去重后的list 
  print(out_time) # 元素出现的次数 
  for j in range(len(out1)): # len()得到out1链表元素个数,依此作为time[]查找下标 
    out_row = [out1[j], out_time[j]]  # 取元素和对应的次数 
    out_csv_writer.writerow(out_row) # 写入out.csv文件里 
out_file.close()

划重点!这个代码是经过了去重处理后的,完全不用担心会有重复数据显示啦~

Python处理此类数据相当快,大概一万行数据只需要1秒.......

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现多行注释的另类方法
Aug 22 Python
Python运用于数据分析的简单教程
Mar 27 Python
黑科技 Python脚本帮你找出微信上删除你好友的人
Jan 07 Python
python实现随机漫步算法
Aug 27 Python
python处理multipart/form-data的请求方法
Dec 26 Python
python利用Tesseract识别验证码的方法示例
Jan 21 Python
使用Python快速制作可视化报表的方法
Feb 03 Python
python用match()函数爬数据方法详解
Jul 23 Python
python爬虫模拟浏览器的两种方法实例分析
Dec 09 Python
python datetime处理时间小结
Apr 16 Python
使用darknet框架的imagenet数据分类预训练操作
Jul 07 Python
python3 中使用urllib问题以及urllib详解
Aug 03 Python
python破解zip加密文件的方法
May 31 #Python
python删除本地夹里重复文件的方法
Nov 19 #Python
Python处理命令行参数模块optpars用法实例分析
May 31 #Python
python筛选出两个文件中重复行的方法
May 31 #Python
python删除文本中行数标签的方法
May 31 #Python
Python使用wget实现下载网络文件功能示例
May 31 #Python
Python使用progressbar模块实现的显示进度条功能
May 31 #Python
You might like
ThinkPHP3.1新特性之内容解析输出详解
2014/06/19 PHP
护卫神php套件 php版本升级方法(php5.5.24)
2015/05/10 PHP
Laravel源码解析之路由的使用和示例详解
2018/09/27 PHP
宝塔面板在NGINX环境中TP5.1如何运行?
2021/03/09 PHP
jquery 倒计时效果实现秒杀思路
2013/09/11 Javascript
javascript实现通过表格绘制颜色填充矩形的方法
2015/04/21 Javascript
jquery+CSS实现的多级竖向展开树形TRee菜单效果
2015/08/24 Javascript
Javascript编程之继承实例汇总
2015/11/28 Javascript
jQuery基于json与cookie实现购物车的方法
2016/04/15 Javascript
使用Object.defineProperty实现简单的js双向绑定
2016/04/15 Javascript
JavaScript预解析及相关技巧分析
2016/04/21 Javascript
在JS中a标签加入单击事件屏蔽href跳转页面
2016/12/16 Javascript
基于cookie实现zTree树刷新后展开状态不变
2017/02/28 Javascript
vue实现商城上货组件简易版
2017/11/27 Javascript
layui实现table加载的示例代码
2018/08/14 Javascript
JS 实现获取验证码 倒计时功能
2018/10/29 Javascript
Vue 组件修改根实例的数据的方法
2019/04/02 Javascript
vue 地图可视化 maptalks 篇实例代码详解
2019/05/21 Javascript
详解Vue.js中引入图片路径的几种方式
2019/06/17 Javascript
python快速排序代码实例
2013/11/21 Python
使用python获取CPU和内存信息的思路与实现(linux系统)
2014/01/03 Python
Python 专题一 函数的基础知识
2017/03/16 Python
详解如何用OpenCV + Python 实现人脸识别
2017/10/20 Python
Python中类的初始化特殊方法
2017/12/01 Python
python编写简易聊天室实现局域网内聊天功能
2018/07/28 Python
Python虚拟环境库virtualenvwrapper安装及使用
2020/06/17 Python
HTML5标签大全
2016/11/23 HTML / CSS
New Balance比利时官方网站:购买鞋子和服装
2021/01/15 全球购物
安全检查管理制度
2014/02/02 职场文书
安全标准化汇报材料
2014/02/03 职场文书
计算机应用专业毕业生求职信
2014/06/03 职场文书
领导班子作风建设年个人整改措施
2014/09/29 职场文书
缅怀先烈主题班会
2015/08/14 职场文书
导游带团欢迎词
2015/09/30 职场文书
Golang 实现获取当前函数名称和文件行号等操作
2021/05/08 Golang
MySQL中InnoDB存储引擎的锁的基本使用教程
2021/05/26 MySQL