Python批量处理csv并保存过程解析


Posted in Python onMay 16, 2020

需求:

1.大量csv文件,以数字命名,如1.csv、2.cvs等;

2.逐个打开,对csv文件中的某一列进行格式修改;

3.将更改后的内容写入新的csv文件。

解决思路:

先读取需处理的csv文件名,去除文件夹下的无用文件,得到待处理文件地址名称和新文件保存的地址名称,分别读取每一个csv文件进行处理后写入新的文件。

if __name__ == '__main__':
  filenames_in = '../Train_data/' # 输入文件的文件地址
  filenames_out = '../Train_data1/' # 新文件的地址
  pathDir = os.listdir(filenames_in)
  for allDir in pathDir:
    child = re.findall(r"(.+?).csv", allDir) # 正则的方式读取文件名,去扩展名
    if len(child) > 0: # 去掉没用的系统文件
      newfile=''
      needdate = child #### 这个就是所要的文件名
    domain1 = os.path.abspath(filenames_in) # 待处理文件位置
    info = os.path.join(domain1, allDir) # 拼接出待处理文件名字
    domain2 = os.path.abspath(filenames_out) # 处理完文件保存地址
    outfo = os.path.join(domain2, allDir) # 拼接出新文件名字
    print(info, "开始处理")
# ------省略数据处理过程----------------------
    df.to_csv(outfo, encoding='utf-8') # 将数据写入新的csv文件
    print(info,"处理完")

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python的Tornado框架中实现简单的在线代理的教程
May 02 Python
python 实现上传图片并预览的3种方法(推荐)
Jul 14 Python
python文件拆分与重组实例
Dec 10 Python
对pandas处理json数据的方法详解
Feb 08 Python
python3+PyQt5 实现Rich文本的行编辑方法
Jun 17 Python
python opencv调用笔记本摄像头
Aug 28 Python
详解python logging日志传输
Jul 01 Python
Python爬取网页信息的示例
Sep 24 Python
Python修改DBF文件指定列
Dec 19 Python
用Python监控你的朋友都在浏览哪些网站?
May 27 Python
python实现股票历史数据可视化分析案例
Jun 10 Python
Python的property属性详细讲解
Apr 11 Python
基于Python测试程序是否有错误
May 16 #Python
关于matplotlib-legend 位置属性 loc 使用说明
May 16 #Python
Python matplotlib画图时图例说明(legend)放到图像外侧详解
May 16 #Python
python_matplotlib改变横坐标和纵坐标上的刻度(ticks)方式
May 16 #Python
使用Python matplotlib作图时,设置横纵坐标轴数值以百分比(%)显示
May 16 #Python
Python验证码截取识别代码实例
May 16 #Python
基于plt.title无法显示中文的快速解决
May 16 #Python
You might like
PHP中使用循环实现的金字塔图形
2014/11/08 PHP
php设计模式之观察者模式定义与用法经典示例
2019/09/19 PHP
jquery实现手风琴效果实例代码
2013/11/15 Javascript
用Javascript获取页面元素的具体位置
2013/12/09 Javascript
跟我学Node.js(四)---Node.js的模块载入方式与机制
2014/06/04 Javascript
javascript框架设计读书笔记之种子模块
2014/12/02 Javascript
node.js中的http.response.getHeader方法使用说明
2014/12/14 Javascript
javascript实现平滑无缝滚动
2020/08/09 Javascript
WebApi+Bootstrap+KnockoutJs打造单页面程序
2016/05/16 Javascript
Bootstrap布局之栅格系统详解
2016/06/13 Javascript
select隐藏选中值对应的id,显示其它id的简单实现方法
2016/08/25 Javascript
详谈jQuery unbind 删除绑定事件 / 移除标签方法
2017/03/02 Javascript
详解vue-cli中配置sass
2017/06/21 Javascript
React利用插件和不用插件实现双向绑定的方法详解
2017/07/03 Javascript
angular将html代码输出为内容的实例
2018/09/30 Javascript
React SSR样式及SEO的实践
2018/10/22 Javascript
详解JS浏览器事件循环机制
2019/03/27 Javascript
nodejs读取图片返回给浏览器显示
2019/07/25 NodeJs
Python警察与小偷的实现之一客户端与服务端通信实例
2014/10/09 Python
Python冒泡排序注意要点实例详解
2016/09/09 Python
python中如何使用朴素贝叶斯算法
2017/04/06 Python
修复 Django migration 时遇到的问题解决
2018/06/14 Python
python实现基于信息增益的决策树归纳
2018/12/18 Python
Django Channels 实现点对点实时聊天和消息推送功能
2019/07/17 Python
Python API自动化框架总结
2019/11/12 Python
Django Model中字段(field)的各种选项说明
2020/05/19 Python
python实现126邮箱发送邮件
2020/05/20 Python
Python实现寻找回文数字过程解析
2020/06/09 Python
python json.dumps() json.dump()的区别详解
2020/07/14 Python
python 如何对logging日志封装
2020/12/02 Python
生产部岗位职责范文
2014/02/07 职场文书
国际商务英语专业求职信
2014/07/08 职场文书
网络妈妈观后感
2015/06/08 职场文书
爱国教育主题班会
2015/08/14 职场文书
2016年百日安全生产活动总结
2016/04/06 职场文书
mysql中varchar类型的日期进行比较、排序等操作的实现
2021/11/17 MySQL