Python如何读取、写入CSV数据


Posted in Python onJuly 28, 2020

问题

你想读写一个CSV格式的文件。

解决方案

对于大多数的CSV格式的数据读写问题,都可以使用 csv 库。、例如,假设你在一个名叫stocks.csv文件中有一些股票市场数据,就像这样:

下面向你展示如何将这些数据读取为一个元组的序列:

import csv
with open('stocks.csv') as f:
 f_csv = csv.reader(f)
 headers = next(f_csv)
 for row in f_csv:
  # Process row
  ...

在上面的代码中,row 会是一个元组。因此,为了访问某个字段,你需要使用下标,如row[0]访问Symbol,row[4]访问Change。

由于这种下标访问通常会引起混淆,你可以考虑使用命名元组。例如:

from collections import namedtuple
with open('stock.csv') as f:
 f_csv = csv.reader(f)
 headings = next(f_csv)
 Row = namedtuple('Row', headings)
 for r in f_csv:
  row = Row(*r)
  # Process row
  ...

它允许你使用列名如 row.Symbol 和 row.Change 代替下标访问。需要注意的是这个只有在列名是合法的Python标识符的时候才生效。如果不是的话,你可能需要修改下原始的列名(如将非标识符字符替换成下划线之类的)。

另外一个选择就是将数据读取到一个字典序列中去。可以这样做:

import csv
with open('stocks.csv') as f:
 f_csv = csv.DictReader(f)
 for row in f_csv:
  # process row
  ...

在这个版本中,你可以使用列名去访问每一行的数据了。比如,row['Symbol'] 或者 row['Change'] 。

为了写入CSV数据,你仍然可以使用csv模块,不过这时候先创建一个 writer 对象。例如;

headers = ['Symbol','Price','Date','Time','Change','Volume']
rows = [('AA', 39.48, '6/11/2007', '9:36am', -0.18, 181800),
   ('AIG', 71.38, '6/11/2007', '9:36am', -0.15, 195500),
   ('AXP', 62.58, '6/11/2007', '9:36am', -0.46, 935000),
  ]

with open('stocks.csv','w') as f:
 f_csv = csv.writer(f)
 f_csv.writerow(headers)
 f_csv.writerows(rows)

如果你有一个字典序列的数据,可以像这样做:

headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
rows = [{'Symbol':'AA', 'Price':39.48, 'Date':'6/11/2007',
  'Time':'9:36am', 'Change':-0.18, 'Volume':181800},
  {'Symbol':'AIG', 'Price': 71.38, 'Date':'6/11/2007',
  'Time':'9:36am', 'Change':-0.15, 'Volume': 195500},
  {'Symbol':'AXP', 'Price': 62.58, 'Date':'6/11/2007',
  'Time':'9:36am', 'Change':-0.46, 'Volume': 935000},
  ]

with open('stocks.csv','w') as f:
 f_csv = csv.DictWriter(f, headers)
 f_csv.writeheader()
 f_csv.writerows(rows)

讨论

你应该总是优先选择csv模块分割或解析CSV数据。例如,你可能会像编写类似下面这样的代码:

with open('stocks.csv') as f:
for line in f:
 row = line.split(',')
 # process row
 ...

使用这种方式的一个缺点就是你仍然需要去处理一些棘手的细节问题。比如,如果某些字段值被引号包围,你不得不去除这些引号。另外,如果一个被引号包围的字段碰巧含有一个逗号,那么程序就会因为产生一个错误大小的行而出错。

默认情况下,csv 库可识别Microsoft Excel所使用的CSV编码规则。这或许也是最常见的形式,并且也会给你带来最好的兼容性。然而,如果你查看csv的文档,就会发现有很多种方法将它应用到其他编码格式上(如修改分割字符等)。例如,如果你想读取以tab分割的数据,可以这样做:

# Example of reading tab-separated values
with open('stock.tsv') as f:
 f_tsv = csv.reader(f, delimiter='\t')
 for row in f_tsv:
  # Process row
  ...

如果你正在读取CSV数据并将它们转换为命名元组,需要注意对列名进行合法性认证。例如,一个CSV格式文件有一个包含非法标识符的列头行,类似下面这样:

这样最终会导致在创建一个命名元组时产生一个 ValueError 异常而失败。为了解决这问题,你可能不得不先去修正列标题。例如,可以像下面这样在非法标识符上使用一个正则表达式替换:

import re
with open('stock.csv') as f:
 f_csv = csv.reader(f)
 headers = [ re.sub('[^a-zA-Z_]', '_', h) for h in next(f_csv) ]
 Row = namedtuple('Row', headers)
 for r in f_csv:
  row = Row(*r)
  # Process row
  ...

还有重要的一点需要强调的是,csv产生的数据都是字符串类型的,它不会做任何其他类型的转换。如果你需要做这样的类型转换,你必须自己手动去实现。下面是一个在CSV数据上执行其他类型转换的例子:

col_types = [str, float, str, str, float, int]
with open('stocks.csv') as f:
 f_csv = csv.reader(f)
 headers = next(f_csv)
 for row in f_csv:
  # Apply conversions to the row items
  row = tuple(convert(value) for convert, value in zip(col_types, row))
  ...

另外,下面是一个转换字典中特定字段的例子:

print('Reading as dicts with type conversion')
field_types = [ ('Price', float),
    ('Change', float),
    ('Volume', int) ]

with open('stocks.csv') as f:
 for row in csv.DictReader(f):
  row.update((key, conversion(row[key]))
    for key, conversion in field_types)
  print(row)

通常来讲,你可能并不想过多去考虑这些转换问题。在实际情况中,CSV文件都或多或少有些缺失的数据,被破坏的数据以及其它一些让转换失败的问题。因此,除非你的数据确实有保障是准确无误的,否则你必须考虑这些问题(你可能需要增加合适的错误处理机制)。

最后,如果你读取CSV数据的目的是做数据分析和统计的话,你可能需要看一看 Pandas 包。Pandas 包含了一个非常方便的函数叫 pandas.read_csv() ,它可以加载CSV数据到一个 DataFrame 对象中去。然后利用这个对象你就可以生成各种形式的统计、过滤数据以及执行其他高级操作了。

以上就是Python如何读写CSV数据的详细内容,更多关于Python读写CSV数据的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python入门篇之文件
Oct 20 Python
python pycurl验证basic和digest认证的方法
May 02 Python
Python SVM(支持向量机)实现方法完整示例
Jun 19 Python
Flask核心机制之上下文源码剖析
Dec 25 Python
Python实现多态、协议和鸭子类型的代码详解
May 05 Python
python requests证书问题解决
Sep 05 Python
Python 图像对比度增强的几种方法(小结)
Sep 25 Python
使用Numpy对特征中的异常值进行替换及条件替换方式
Jun 08 Python
Python如何输出警告信息
Jul 30 Python
python实现图片素描效果
Sep 26 Python
python Xpath语法的使用
Nov 26 Python
python通过cython加密代码
Dec 11 Python
PyQt中使用QtSql连接MySql数据库的方法
Jul 28 #Python
pycharm全局搜索的具体步骤
Jul 28 #Python
Django model重写save方法及update踩坑详解
Jul 27 #Python
matplotlib 画双轴子图无法显示x轴的解决方法
Jul 27 #Python
虚拟机下载python是否需要联网
Jul 27 #Python
详解在Python中使用Torchmoji将文本转换为表情符号
Jul 27 #Python
基于python实现操作git过程代码解析
Jul 27 #Python
You might like
使用数据库保存session的方法
2006/10/09 PHP
php中函数前加&符号的作用分解
2014/07/08 PHP
JavaScript实现滚动栏效果的方法
2015/04/27 PHP
详解WordPress开发中get_header()获取头部函数的用法
2016/01/08 PHP
PHP文件及文件夹操作之创建、删除、移动、复制
2016/07/13 PHP
asp.net+jquery滚动滚动条加载数据的下拉控件
2010/06/25 Javascript
js两行代码按指定格式输出日期时间
2011/10/21 Javascript
javascript自动改变文字大小和颜色的效果的小例子
2013/08/02 Javascript
javascript在当前窗口关闭前检测窗口是否关闭
2014/09/29 Javascript
使用Meteor配合Node.js编写实时聊天应用的范例
2015/06/23 Javascript
简单谈谈JavaScript的同步与异步
2015/12/31 Javascript
全面了解addEventListener和on的区别
2016/07/14 Javascript
js调用屏幕宽度的简单方法
2016/11/14 Javascript
angularjs实现上拉加载和下拉刷新数据功能
2017/06/12 Javascript
浅谈vuejs实现数据驱动视图原理
2018/02/23 Javascript
vue轻量级框架无法获取到vue对象解决方法
2019/05/12 Javascript
通过seajs实现JavaScript的模块开发及按模块加载
2019/06/06 Javascript
Vue 使用beforeEach实现登录状态检查功能
2019/10/31 Javascript
Vue 中 filter 与 computed 的区别与用法解析
2019/11/21 Javascript
在vue中axios设置timeout超时的操作
2020/09/04 Javascript
JS+CSS实现炫酷光感效果
2020/09/05 Javascript
原生js实现放大镜组件
2021/01/22 Javascript
[00:12]2018DOTA2亚洲邀请赛 Somnus丶M出阵单挑
2018/04/06 DOTA
浅谈python中列表、字符串、字典的常用操作
2017/09/19 Python
简单的python协同过滤程序实例代码
2018/01/31 Python
python3监控CentOS磁盘空间脚本
2018/06/21 Python
Python中py文件转换成exe可执行文件的方法
2019/06/14 Python
入党思想汇报怎么写
2014/04/03 职场文书
小学三好学生事迹材料
2014/08/15 职场文书
公司试用期员工自我评价
2014/09/17 职场文书
2014年个人债务授权委托书范本
2014/09/22 职场文书
个人融资协议书
2014/10/02 职场文书
流动人口婚育证明
2014/10/19 职场文书
股权转让协议范本
2014/12/07 职场文书
解析:创业计划书和商业计划书二者之间到底有什么区别
2019/08/14 职场文书
canvas多重阴影发光效果实现
2021/04/20 Javascript