Python批量处理csv并保存过程解析


Posted in Python onMay 16, 2020

需求:

1.大量csv文件,以数字命名,如1.csv、2.cvs等;

2.逐个打开,对csv文件中的某一列进行格式修改;

3.将更改后的内容写入新的csv文件。

解决思路:

先读取需处理的csv文件名,去除文件夹下的无用文件,得到待处理文件地址名称和新文件保存的地址名称,分别读取每一个csv文件进行处理后写入新的文件。

if __name__ == '__main__':
  filenames_in = '../Train_data/' # 输入文件的文件地址
  filenames_out = '../Train_data1/' # 新文件的地址
  pathDir = os.listdir(filenames_in)
  for allDir in pathDir:
    child = re.findall(r"(.+?).csv", allDir) # 正则的方式读取文件名,去扩展名
    if len(child) > 0: # 去掉没用的系统文件
      newfile=''
      needdate = child #### 这个就是所要的文件名
    domain1 = os.path.abspath(filenames_in) # 待处理文件位置
    info = os.path.join(domain1, allDir) # 拼接出待处理文件名字
    domain2 = os.path.abspath(filenames_out) # 处理完文件保存地址
    outfo = os.path.join(domain2, allDir) # 拼接出新文件名字
    print(info, "开始处理")
# ------省略数据处理过程----------------------
    df.to_csv(outfo, encoding='utf-8') # 将数据写入新的csv文件
    print(info,"处理完")

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
wxPython框架类和面板类的使用实例
Sep 28 Python
python使用多线程不断刷新网页的方法
Mar 31 Python
Python中统计函数运行耗时的方法
May 05 Python
使用Python快速搭建HTTP服务和文件共享服务的实例讲解
Jun 04 Python
pandas计数 value_counts()的使用
Jun 24 Python
Django框架创建mysql连接与使用示例
Jul 29 Python
Python判断字符串是否xx开始或结尾的示例
Aug 08 Python
PYTHON绘制雷达图代码实例
Oct 15 Python
win10下opencv-python特定版本手动安装与pip自动安装教程
Mar 05 Python
Python numpy矩阵处理运算工具用法汇总
Jul 13 Python
Python 解析简单的XML数据
Jul 24 Python
flask框架中的cookie和session使用
Jan 31 Python
基于Python测试程序是否有错误
May 16 #Python
关于matplotlib-legend 位置属性 loc 使用说明
May 16 #Python
Python matplotlib画图时图例说明(legend)放到图像外侧详解
May 16 #Python
python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式
May 16 #Python
使用Python matplotlib作图时,设置横纵坐标轴数值以百分比(%)显示
May 16 #Python
Python验证码截取识别代码实例
May 16 #Python
基于plt.title无法显示中文的快速解决
May 16 #Python
You might like
中国收音机工业发展史
2021/03/02 无线电
成为好程序员必须避免的5个坏习惯
2014/07/04 PHP
Symfony查询方法实例小结
2017/06/28 PHP
基于JQuery实现滚动到页面底端时自动加载更多信息
2014/01/31 Javascript
JavaScript实现生成GUID(全局统一标识符)
2014/09/05 Javascript
BooStrap对导航条的改造实践小结
2016/09/21 Javascript
jQuery插件HighCharts绘制的基本折线图效果示例【附demo源码下载】
2017/03/07 Javascript
ligerUI---ListBox(列表框可移动的实例)
2017/11/28 Javascript
《javascript少儿编程》location术语总结
2018/05/27 Javascript
详解IOS微信上Vue单页面应用JSSDK签名失败解决方案
2018/11/14 Javascript
elementUI select组件使用及注意事项详解
2019/05/29 Javascript
swiper4实现移动端导航栏tab滑动切换
2020/10/16 Javascript
Antd的Table组件嵌套Table以及选择框联动操作
2020/10/24 Javascript
python实现超简单端口转发的方法
2015/03/13 Python
python实现查找excel里某一列重复数据并且剔除后打印的方法
2015/05/26 Python
python深度优先搜索和广度优先搜索
2018/02/07 Python
Python在groupby分组后提取指定位置记录方法
2018/04/20 Python
用Python编写一个简单的CS架构后门的方法
2018/11/20 Python
python3实现多线程聊天室
2018/12/12 Python
Python计算时间间隔(精确到微妙)的代码实例
2019/02/26 Python
python使用Paramiko模块实现远程文件拷贝
2019/04/30 Python
python获取点击的坐标画图形的方法
2019/07/09 Python
python getpass模块用法及实例详解
2019/10/07 Python
Python3连接Mysql8.0遇到的问题及处理步骤
2020/02/17 Python
Python稀疏矩阵及参数保存代码实现
2020/04/18 Python
python3.4中清屏的处理方法
2020/07/06 Python
Python根据URL地址下载文件并保存至对应目录的实现
2020/11/15 Python
谈谈对css属性box-sizing的了解
2017/01/04 HTML / CSS
优秀部门获奖感言
2014/02/14 职场文书
2014年国庆节演讲稿
2014/09/02 职场文书
标准单位租车协议书
2014/09/23 职场文书
主题班会开场白
2015/06/01 职场文书
2016年6月份红领巾广播稿
2015/12/21 职场文书
党员干部学习三严三实心得体会
2016/01/05 职场文书
DBCA命令行搭建Oracle ADG的流程
2021/06/11 Oracle
KVM基础命令详解
2022/04/30 Servers