Python批量处理csv并保存过程解析


Posted in Python onMay 16, 2020

需求:

1.大量csv文件,以数字命名,如1.csv、2.cvs等;

2.逐个打开,对csv文件中的某一列进行格式修改;

3.将更改后的内容写入新的csv文件。

解决思路:

先读取需处理的csv文件名,去除文件夹下的无用文件,得到待处理文件地址名称和新文件保存的地址名称,分别读取每一个csv文件进行处理后写入新的文件。

if __name__ == '__main__':
  filenames_in = '../Train_data/' # 输入文件的文件地址
  filenames_out = '../Train_data1/' # 新文件的地址
  pathDir = os.listdir(filenames_in)
  for allDir in pathDir:
    child = re.findall(r"(.+?).csv", allDir) # 正则的方式读取文件名,去扩展名
    if len(child) > 0: # 去掉没用的系统文件
      newfile=''
      needdate = child #### 这个就是所要的文件名
    domain1 = os.path.abspath(filenames_in) # 待处理文件位置
    info = os.path.join(domain1, allDir) # 拼接出待处理文件名字
    domain2 = os.path.abspath(filenames_out) # 处理完文件保存地址
    outfo = os.path.join(domain2, allDir) # 拼接出新文件名字
    print(info, "开始处理")
# ------省略数据处理过程----------------------
    df.to_csv(outfo, encoding='utf-8') # 将数据写入新的csv文件
    print(info,"处理完")

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 异常处理实例详解
Mar 12 Python
python求crc32值的方法
Oct 05 Python
python通过openpyxl生成Excel文件的方法
May 12 Python
django框架如何集成celery进行开发
May 24 Python
详解django三种文件下载方式
Apr 06 Python
使用Python通过win32 COM打开Excel并添加Sheet的方法
May 02 Python
Python实现的根据IP地址计算子网掩码位数功能示例
May 23 Python
python多线程并发让两个LED同时亮的方法
Feb 18 Python
python3 mmh3安装及使用方法
Oct 09 Python
pytorch的梯度计算以及backward方法详解
Jan 10 Python
pytorch 实现张量tensor,图片,CPU,GPU,数组等的转换
Jan 13 Python
对Keras中predict()方法和predict_classes()方法的区别说明
Jun 09 Python
基于Python测试程序是否有错误
May 16 #Python
关于matplotlib-legend 位置属性 loc 使用说明
May 16 #Python
Python matplotlib画图时图例说明(legend)放到图像外侧详解
May 16 #Python
python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式
May 16 #Python
使用Python matplotlib作图时,设置横纵坐标轴数值以百分比(%)显示
May 16 #Python
Python验证码截取识别代码实例
May 16 #Python
基于plt.title无法显示中文的快速解决
May 16 #Python
You might like
PHP变量内存分配问题记录整理
2013/11/27 PHP
ThinkPHP入库出现两次反斜线转义及数据库类转义的解决方法
2014/11/04 PHP
smarty中改进truncate使其支持中文的方法
2016/05/30 PHP
PHP+Ajax异步带进度条上传文件实例
2016/11/01 PHP
探究Laravel使用env函数读取环境变量为null的问题
2016/12/06 PHP
一些技巧性实用js代码小结
2009/10/14 Javascript
前台js对象在后台转化java对象的问题探讨
2013/12/20 Javascript
jQuery常用操作方法及常用函数总结
2014/06/19 Javascript
jQuery中get和post方法传值测试及注意事项
2014/08/08 Javascript
jQuery中:animated选择器用法实例
2014/12/29 Javascript
JS判断页面是否出现滚动条的方法
2015/07/17 Javascript
学习JavaScript设计模式(封装)
2015/11/26 Javascript
移动端利用H5实现压缩图片上传功能
2017/03/29 Javascript
vue时间格式化实例代码
2017/06/13 Javascript
JS检测是否可以访问公网服务器功能代码
2017/06/19 Javascript
将angular.js项目整合到.net mvc中的方法详解
2017/06/29 Javascript
微信小程序使用input组件实现密码框功能【附源码下载】
2017/12/11 Javascript
NodeJs搭建本地服务器之使用手机访问的实例讲解
2018/05/12 NodeJs
node微信开发之获取access_token+自定义菜单
2019/03/17 Javascript
小程序封装路由文件和路由方法(5种全解析)
2019/05/26 Javascript
jQuery表单选择器用法详解
2019/08/22 jQuery
实现vuex与组件data之间的数据同步更新方式
2019/11/12 Javascript
node 版本切换的实现
2020/02/02 Javascript
JavaScript 函数用法详解【函数定义、参数、绑定、作用域、闭包等】
2020/05/12 Javascript
VUE UPLOAD 通过ACTION返回上传结果操作
2020/09/07 Javascript
解决vue watch数据的方法被调用了两次的问题
2020/11/07 Javascript
[01:57]2018DOTA2亚洲邀请赛赛前采访-iG
2018/04/03 DOTA
使用Python编写简单的画图板程序的示例教程
2015/12/08 Python
Python使用multiprocessing实现一个最简单的分布式作业调度系统
2016/03/14 Python
使用Python实现在Windows下安装Django
2018/10/17 Python
Python对Excel按列值筛选并拆分表格到多个文件的代码
2019/11/05 Python
Anaconda配置pytorch-gpu虚拟环境的图文教程
2020/04/16 Python
python logging模块的使用
2020/09/07 Python
关于Python 解决Python3.9 pandas.read_excel(‘xxx.xlsx‘)报错的问题
2020/11/28 Python
2013年员工自我评价范文
2013/12/27 职场文书
学习优秀共产党员先进事迹思想报告
2014/09/17 职场文书