利用Python如何将数据写到CSV文件中


Posted in Python onJune 05, 2018

前言

我们从网上爬取数据,最后一步会考虑如何存储数据。如果数据量不大,往往不会选择存储到数据库,而是选择存储到文件中,例如文本文件、CSV 文件、xls 文件等。因为文件具备携带方便、查阅直观。

Python 作为胶水语言,搞定这些当然不在话下。但在写数据过程中,经常因数据源中带有中文汉字而报错。最让人头皮发麻的编码问题。

我先说下编码相关的知识。编码方式有很多种:UTF-8, GBK, ASCII 等。

ASCII 码是美国在上个世纪 60 年代制定的一套字符编码。主要是规范英语字符和二进制位之间的关系。英语词汇组成简单,由 26 个字母构成。使用一个字节就能表示一个字母符号。外加各种符号,使用 128 个字符就满足编码要求。

不同国家有不同语言文字。同时,文字组成部分的数量相比英语字母要多很多。根据不完全统计,汉字的数量大约将近 10 万个,日常所使用的汉字有 3000 个。显然,ASCII 编码无法满足需求。所以汉字采用 GBK 编码,使用两个字节表示一个汉字。简体中文的编码方式是 GBK2312。

那 UTF-8 又是什么编码?这要先说 Unicode 了。Unicode 目的是为了统一各种编码。因为各国都各自的编码方式。如果使用一种编码编码,使用另一种编码解码。这会造成出现乱码的情况。但 Unicode 只是一个符号集,它只规定了符号的二进制代码,却没有规定这个二进制代码应该如何存储。UTF-8 就是在互联网上使用最广的一种 Unicode 的实现方式。

因此,如果我们要写数据到文件中,最好指定编码形式为 UTF-8。

Python 标准库中,有个名为 csv 的库,专门处理 csv 的读写操作。

Python csv模块封装了常用的功能,使用的简单例子如下:

# 读取csv文件
import csv
with open('some.csv', 'rb') as f: # 采用b的方式处理可以省去很多问题
reader = csv.reader(f)
for row in reader:
# do something with row, such as row[0],row[1]


import csv
with open('some.csv', 'wb') as f: # 采用b的方式处理可以省去很多问题
writer = csv.writer(f)
writer.writerows(someiterable)

具体使用实例如下:

import csv
import codecs
# codecs 是自然语言编码转换模块

fileName = 'PythonBook.csv'

# 指定编码为 utf-8, 避免写 csv 文件出现中文乱码
with codecs.open(fileName, 'w', 'utf-8') as csvfile:
 # 指定 csv 文件的头部显示项
 filednames = ['书名', '作者']
 writer = csv.DictWriter(csvfile, fieldnames=filednames)

 books = []
 book = {
 'title': '笑傲江湖',
 'author': '金庸',
 }
 books.append(book)

 writer.writeheader()
 for book in books:
 try:
 writer.writerow({'书名':book['title'], '作者':book['author']})
 except UnicodeEncodeError:
 print("编码错误, 该数据无法写到文件中, 直接忽略该数据")

这种方式是逐行往 CSV 文件中写数据, 所以效率会比较低。如果想批量将数据写到 CSV 文件中,需要用到 pandas 库。

pandas 是第三方库,所以使用之前需要安装。通过 pip 方式安装是最简单、最方便的。
pip install pandas

使用 pandas 批量写数据的用法如下:

import pandas as pd

fileName = 'PythonBook.csv'
number = 1

books = []
book = {
 'title': '笑傲江湖',
 'author': '金庸',
}
# 如果 book 条数足够多的话,pandas 会每次往文件中写 50 条数据。
books.append(book)

data = pd.DataFrame(books)
# 写入csv文件,'a+'是追加模式
try:
 if number == 1:
 csv_headers = ['书名', '作者']
 data.to_csv(fileName, header=csv_headers, index=False, mode='a+', encoding='utf-8')
 else:
 data.to_csv('fileName, header=False, index=False, mode='a+', encoding='utf-8')
 number = number + 1
except UnicodeEncodeError:
 print("编码错误, 该数据无法写到文件中, 直接忽略该数据")

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
详解Python中的Cookie模块使用
Jul 06 Python
Python实现二叉堆
Feb 03 Python
Python3实现的画图及加载图片动画效果示例
Jan 19 Python
使用Python设计一个代码统计工具
Apr 04 Python
使用TensorFlow实现二分类的方法示例
Feb 05 Python
Python OS模块实例详解
Apr 15 Python
python程序运行进程、使用时间、剩余时间显示功能的实现代码
Jul 11 Python
python join方法使用详解
Jul 30 Python
python生成任意频率正弦波方式
Feb 25 Python
python实现梯度下降法
Mar 24 Python
基于Tensorflow读取MNIST数据集时网络超时的解决方式
Jun 22 Python
详解使用scrapy进行模拟登陆三种方式
Feb 21 Python
Python之dict(或对象)与json之间的互相转化实例
Jun 05 #Python
对pandas中to_dict的用法详解
Jun 05 #Python
pandas.DataFrame.to_json按行转json的方法
Jun 05 #Python
读取json格式为DataFrame(可转为.csv)的实例讲解
Jun 05 #Python
Python实现迭代时使用索引的方法示例
Jun 05 #Python
Numpy 将二维图像矩阵转换为一维向量的方法
Jun 05 #Python
django反向解析和正向解析的方式
Jun 05 #Python
You might like
用session做客户验证时的注意事项
2006/10/09 PHP
PHP连接MySQL的2种方法小结以及防止乱码
2014/03/11 PHP
PHP flush 函数使用注意事项
2016/08/26 PHP
thinkPHP框架中layer.js的封装与使用方法示例
2019/01/18 PHP
CI框架教程之优化验证码机制详解【验证码辅助函数】
2019/04/16 PHP
TFDN图片播放器 不错自动播放
2006/10/03 Javascript
通过js脚本复制网页上的一个表格的不错实现方法
2006/12/29 Javascript
让网页根据不同IE版本显示不同的内容
2009/02/08 Javascript
HTML5之lang属性与dir属性的详解
2013/06/19 Javascript
js实现将选中内容分享到新浪或腾讯微博
2015/12/16 Javascript
JavaScript获取服务器时间的方法详解
2016/12/11 Javascript
微信小程序 css使用技巧总结
2017/01/09 Javascript
AngularJS实用基础知识_入门必备篇(推荐)
2017/07/10 Javascript
VUE前端cookie简单操作
2017/10/17 Javascript
微信小程序swiper组件用法实例分析【附源码下载】
2017/12/07 Javascript
微信小程序自定义轮播图
2018/11/04 Javascript
jquery-ui 进度条功能示例【测试可用】
2019/07/25 jQuery
Python和Perl绘制中国北京跑步地图的方法
2016/03/03 Python
一步步教你用Python实现2048小游戏
2017/01/19 Python
Python实现一个转存纯真IP数据库的脚本分享
2017/05/21 Python
Python实现JSON反序列化类对象的示例
2018/01/31 Python
pycharm安装和首次使用教程
2018/08/27 Python
python实现贪吃蛇游戏
2020/03/21 Python
线程安全及Python中的GIL原理分析
2019/10/29 Python
Python开发企业微信机器人每天定时发消息实例
2020/03/17 Python
天美时手表加拿大官网:Timex加拿大
2016/09/01 全球购物
ProBikeKit新西兰:自行车套件,跑步和铁人三项装备
2017/04/05 全球购物
意大利大型购物中心:Oliviero.it
2017/10/19 全球购物
运动鞋、街头服装、手表和手袋的实时市场:StockX
2020/11/25 全球购物
一年级语文教学反思
2014/02/13 职场文书
无传销社区工作方案
2014/05/13 职场文书
小学运动会报道稿
2014/10/04 职场文书
光棍节联谊晚会活动策划书
2014/10/10 职场文书
寒假社会实践个人总结
2015/03/06 职场文书
证婚人致辞精选
2015/07/28 职场文书
致运动员的广播稿
2015/08/19 职场文书