利用pandas向一个csv文件追加写入数据的实现示例


Posted in Python onApril 23, 2020

我们越来越多的使用pandas进行数据处理,有时需要向一个已经存在的csv文件写入数据,传统的方法之前我也有些过,向txt,excel文件写入数据,传送门:Python将二维列表(list)的数据输出(TXT,Excel)

pandas to_csv()只能在新文件写数据?当然不是!

pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。

df.to_csv('my_csv.csv', mode='a', header=False)

to_csv()方法mode默认为w,我们加上mode='a',便可以追加写入数据。

pandas读写文件,处理数据的效率太高了,所以我们尽量使用pandas的进行输出。

下面让我们来看一下示例

# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
 
from multiprocessing import Pool
 
def merge(filename):
  return pd.read_csv('./fun_data/'+filename)
 
if __name__ == "__main__":
  file_list = os.listdir('./fun_data')
  e1 = time.time()
 
  pool = Pool(20)
  result = pool.map(merge,file_list)
  pool.close()
  pool.join()
 
  e2 = time.time()
  print(e2 - e1)
 
  for i in result:
    i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
  e3 = time.time()
  print(e3-e2)

到此这篇关于利用pandas向一个csv文件追加写入数据的实现示例的文章就介绍到这了,更多相关pandas csv追加写入内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木! 

Python 相关文章推荐
python文件读写并使用mysql批量插入示例分享(python操作mysql)
Feb 17 Python
Python有序字典简单实现方法示例
Sep 28 Python
Python面向对象程序设计构造函数和析构函数用法分析
Apr 12 Python
Python 给屏幕打印信息加上颜色的实现方法
Apr 24 Python
python获取微信企业号打卡数据并生成windows计划任务
Apr 30 Python
pycharm配置当鼠标悬停时快速提示方法参数
Jul 31 Python
Python generator生成器和yield表达式详解
Aug 08 Python
Python求解正态分布置信区间教程
Nov 20 Python
python实现两个一维列表合并成一个二维列表
Dec 02 Python
pytorch 实现删除tensor中的指定行列
Jan 13 Python
浅谈在django中使用filter()(即对QuerySet操作)时踩的坑
Mar 31 Python
Python使用DFA算法过滤内容敏感词
Apr 22 Python
在matplotlib中改变figure的布局和大小实例
Apr 23 #Python
Python将二维列表list的数据输出(TXT,Excel)
Apr 23 #Python
Python基于DB-API操作MySQL数据库过程解析
Apr 23 #Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
Apr 23 #Python
Python matplotlib实时画图案例
Apr 23 #Python
windows下的pycharm安装及其设置中文菜单
Apr 23 #Python
使用python+poco+夜神模拟器进行自动化测试实例
Apr 23 #Python
You might like
MOTOROLA 摩托罗拉 MODEL 66-XI五灯中波收音机
2021/03/02 无线电
sourcesafe管理phpproj文件的补充说明(downmoon)
2009/04/11 PHP
简单的方法让你的后台登录更加安全(php中加session验证)
2012/08/22 PHP
php实现字符串反转输出的方法
2015/03/14 PHP
PHP 布尔值的自增与自减的实现方法
2018/05/03 PHP
PHP+Apache实现二级域名之间共享cookie的方法
2019/07/24 PHP
thinkPHP5框架路由常用知识点汇总
2019/09/15 PHP
一段实时更新的时间代码
2006/07/07 Javascript
extjs3 combobox取value和text案例详解
2013/02/06 Javascript
jquery win 7透明弹出层效果的简单代码
2013/08/06 Javascript
js控制页面控件隐藏显示的两种方法介绍
2013/10/09 Javascript
简单方法判断JavaScript对象为null或者属性为空
2014/09/26 Javascript
jQuery右下角悬浮广告实例
2016/10/17 Javascript
jQuery插件ajaxFileUpload异步上传文件
2016/10/19 Javascript
discuz表情的JS提取方法分析
2017/03/22 Javascript
vue实现密码显示隐藏切换功能
2018/02/23 Javascript
Python中__name__的使用实例
2015/04/14 Python
从零开始学Python第八周:详解网络编程基础(socket)
2016/12/14 Python
python django 增删改查操作 数据库Mysql
2017/07/27 Python
Python实现的随机森林算法与简单总结
2018/01/30 Python
对python读取zip压缩文件里面的csv数据实例详解
2019/02/08 Python
Python合并同一个文件夹下所有PDF文件的方法
2019/03/11 Python
django基于cors解决跨域请求问题详解
2019/08/06 Python
基于Python+Appium实现京东双十一自动领金币功能
2019/10/31 Python
Python基于numpy模块实现回归预测
2020/05/14 Python
Python+PyQt5+MySQL实现天气管理系统
2020/06/16 Python
Made in Design德国:设计师家具、灯具和装饰
2019/10/31 全球购物
优秀团员个人的自我评价
2013/10/02 职场文书
学习演讲稿范文
2014/05/10 职场文书
2014年项目工作总结
2014/11/24 职场文书
优秀班主任主要事迹材料
2014/12/16 职场文书
导游词之阳朔遇龙河
2019/12/16 职场文书
MySQL InnoDB ReplicaSet(副本集)简单介绍
2021/04/24 MySQL
Django实现在线无水印抖音视频下载(附源码及地址)
2021/05/06 Python
python3 hdf5文件 遍历代码
2021/05/19 Python
如何在Python项目中引入日志
2021/05/31 Python