利用pandas向一个csv文件追加写入数据的实现示例


Posted in Python onApril 23, 2020

我们越来越多的使用pandas进行数据处理,有时需要向一个已经存在的csv文件写入数据,传统的方法之前我也有些过,向txt,excel文件写入数据,传送门:Python将二维列表(list)的数据输出(TXT,Excel)

pandas to_csv()只能在新文件写数据?当然不是!

pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。

df.to_csv('my_csv.csv', mode='a', header=False)

to_csv()方法mode默认为w,我们加上mode='a',便可以追加写入数据。

pandas读写文件,处理数据的效率太高了,所以我们尽量使用pandas的进行输出。

下面让我们来看一下示例

# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
 
from multiprocessing import Pool
 
def merge(filename):
  return pd.read_csv('./fun_data/'+filename)
 
if __name__ == "__main__":
  file_list = os.listdir('./fun_data')
  e1 = time.time()
 
  pool = Pool(20)
  result = pool.map(merge,file_list)
  pool.close()
  pool.join()
 
  e2 = time.time()
  print(e2 - e1)
 
  for i in result:
    i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
  e3 = time.time()
  print(e3-e2)

到此这篇关于利用pandas向一个csv文件追加写入数据的实现示例的文章就介绍到这了,更多相关pandas csv追加写入内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木! 

Python 相关文章推荐
在Python中使用PIL模块对图片进行高斯模糊处理的教程
May 05 Python
python logging日志模块的详解
Oct 29 Python
python中itertools模块zip_longest函数详解
Jun 12 Python
Python实现的从右到左字符串替换方法示例
Jul 06 Python
解决python 无法加载downsample模型的问题
Oct 25 Python
Django  ORM 练习题及答案
Jul 19 Python
Django单元测试中Fixtures的使用方法
Feb 26 Python
Python爬虫爬取、解析数据操作示例
Mar 27 Python
python2.7使用scapy发送syn实例
May 05 Python
Python如何根据时间序列数据作图
May 12 Python
Python接口自动化测试的实现
Aug 28 Python
python解包用法详解
Feb 17 Python
在matplotlib中改变figure的布局和大小实例
Apr 23 #Python
Python将二维列表list的数据输出(TXT,Excel)
Apr 23 #Python
Python基于DB-API操作MySQL数据库过程解析
Apr 23 #Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
Apr 23 #Python
Python matplotlib实时画图案例
Apr 23 #Python
windows下的pycharm安装及其设置中文菜单
Apr 23 #Python
使用python+poco+夜神模拟器进行自动化测试实例
Apr 23 #Python
You might like
Codeigniter中禁止A Database Error Occurred错误提示的方法
2014/06/12 PHP
PHP判断json格式是否正确的实现代码
2017/09/20 PHP
Colortip基于jquery的信息提示框插件在IE6下面的显示问题修正方法
2010/12/06 Javascript
js实现页面跳转重定向的几种方式
2014/05/29 Javascript
JavaScript中length属性的使用方法
2015/06/05 Javascript
jquery中的工具使用方法$.isFunction, $.isArray(), $.isWindow()
2015/08/09 Javascript
纯JS单页面赛车游戏制作代码分享
2017/03/03 Javascript
js/jq仿window文件夹框选操作插件
2017/03/08 Javascript
JS数组去重(4种方法)
2017/03/27 Javascript
详解用vue-cli来搭建vue项目和webpack
2017/04/20 Javascript
AngularJS 异步解决实现方法
2017/06/12 Javascript
js实现飞机大战游戏
2020/08/26 Javascript
Python如何实现文本转语音
2016/08/08 Python
Python编程pygal绘图实例之XY线
2017/12/09 Python
[原创]python爬虫(入门教程、视频教程)
2018/01/08 Python
Python实现邮件的批量发送的示例代码
2018/01/23 Python
Flask和Django框架中自定义模型类的表名、父类相关问题分析
2018/07/19 Python
对python制作自己的数据集实例讲解
2018/12/12 Python
搞清楚 Python traceback的具体使用方法
2019/05/13 Python
python psutil模块使用方法解析
2019/08/01 Python
Python 操作mysql数据库查询之fetchone(), fetchmany(), fetchall()用法示例
2019/10/17 Python
python 字段拆分详解
2019/12/17 Python
Python版中国省市经纬度
2020/02/11 Python
Python Merge函数原理及用法解析
2020/09/16 Python
法院实习人员自我鉴定
2013/09/26 职场文书
简历的自荐信
2013/12/19 职场文书
领导党性分析材料
2014/02/15 职场文书
会计专业应届生自荐信
2014/06/28 职场文书
五年级学生评语大全
2014/12/26 职场文书
齐云山导游词
2015/02/06 职场文书
预备党员个人总结
2015/02/14 职场文书
年度考核表个人总结
2015/03/06 职场文书
最新的离婚协议书范本!
2019/07/02 职场文书
JavaScript实现登录窗体
2021/06/22 Javascript
Opencv实现二维直方图的计算及绘制
2021/07/21 Python
阿里云k8s服务升级时502错误 springboot项目应用
2022/04/09 Servers