Python使用Pandas对csv文件进行数据处理的方法


Posted in Python onAugust 01, 2019

今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝试用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了Python下的一个神器包:Pandas(熊猫们?),加载这个140多M的csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛逼了!记录一下这次数据处理的过程:

使用Python3.6.4环境(对中文支持比较好),安装Pandas包

pip install pandas

基本使用:

import pandas as pd
import numpy as np #进行具体的sum,count等计算时候要用到的
df=pd.read_csv('d:/snp/nh23.csv') #这里绝对路径一定要用/,windows下也是如此,不加参数默认csv文件首行为标题行
df.head() #查看引入的csv文件前5行数据
df[“播种面积”] #查看指定列,后面跟[:5]查看前5行数据

Python使用Pandas对csv文件进行数据处理的方法

df[“调查对象代码”].str[:6] #获取指定列前6位字符串

df["ADDR"]=df["调查对象代码"].str[:6] #将上一行处理后的6位地址码作为新列ADDR插入

Python使用Pandas对csv文件进行数据处理的方法

gp=df.groupby(["ADDR","代码"])["播种面积"].sum() #根据ADDR和代码进行分组后对播种面积列进行sum求和计算

Python使用Pandas对csv文件进行数据处理的方法

pv=df.pivot_table(["播种面积"],index="ADDR",columns="代码",margins=True,aggfunc=np.sum,fill_value=0) #数据透视图,对播种面积列进行汇总计算,index为行,columns为列,margins=True增加一个全部行汇总,aggfunc=np.sum透视图中对播种面积值进行sum计算,这里np是开头import的numpy as np,fill_value=0对空值进行0替换,否则没有数据会显示NaN

Python使用Pandas对csv文件进行数据处理的方法

pv.to_csv("d:/snp/test.csv") #写入csv文件

总结

以上所述是小编给大家介绍的Python使用Pandas对csv文件进行数据处理的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python使用marshal模块序列化实例
Sep 25 Python
wxPython窗口中文乱码解决方法
Oct 11 Python
python构建深度神经网络(续)
Mar 10 Python
Python判断两个list是否是父子集关系的实例
May 04 Python
python实现Windows电脑定时关机
Jun 20 Python
python实现在cmd窗口显示彩色文字
Jun 24 Python
浅谈python图片处理Image和skimage的区别
Aug 04 Python
pytorch常见的Tensor类型详解
Jan 15 Python
python3正则模块re的使用方法详解
Feb 11 Python
Python  word实现读取及导出代码解析
Jul 09 Python
python在linux环境下安装skimage的示例代码
Oct 14 Python
python 提高开发效率的5个小技巧
Oct 19 Python
python使用writerows写csv文件产生多余空行的处理方法
Aug 01 #Python
python psutil模块使用方法解析
Aug 01 #Python
python读写csv文件并增加行列的实例代码
Aug 01 #Python
Flask框架重定向,错误显示,Responses响应及Sessions会话操作示例
Aug 01 #Python
python对csv文件追加写入列的方法
Aug 01 #Python
Django Aggregation聚合使用方法解析
Aug 01 #Python
Flask教程之重定向与错误处理实例分析
Aug 01 #Python
You might like
Server.HTMLEncode让代码在页面里显示为源代码
2013/12/08 PHP
教你如何快捷的使用cmd访问mysql小技巧
2014/05/26 PHP
php+Mysqli利用事务处理转账问题实例
2015/02/11 PHP
PHP脚本监控Nginx 502错误并自动重启php-fpm
2015/05/13 PHP
php+html5实现无刷新图片上传教程
2016/01/22 PHP
js 判断checkbox是否选中的实现代码
2010/11/23 Javascript
让你的博客飘雪花超出屏幕依然看得见
2013/01/04 Javascript
jquery.ui.draggable中文文档(原文翻译)
2013/11/15 Javascript
js中文逗号转英文实现
2014/02/11 Javascript
javascript读取Xml文件做一个二级联动菜单示例
2014/03/17 Javascript
jquery制作多功能轮播图插件
2015/04/02 Javascript
JS实现仿FLASH效果的竖排导航代码
2015/09/15 Javascript
Angular2实现自定义双向绑定属性
2017/03/22 Javascript
浅谈React Native 中组件的生命周期
2017/09/08 Javascript
探索webpack模块及webpack3新特性
2017/09/18 Javascript
three.js中文文档学习之通过模块导入
2017/11/20 Javascript
vue axios登录请求拦截器
2018/04/02 Javascript
详解Axios 如何取消已发送的请求
2018/10/20 Javascript
深入浅析vue-cli@3.0 使用及配置说明
2019/05/08 Javascript
jQuery/JS监听input输入框值变化实例
2019/10/17 jQuery
Python的垃圾回收机制深入分析
2014/07/16 Python
Python 创建空的list,以及append用法讲解
2018/05/04 Python
python保存数据到本地文件的方法
2018/06/23 Python
matplotlib给子图添加图例的方法
2018/08/03 Python
centos6.8安装python3.7无法import _ssl的解决方法
2018/09/17 Python
python多线程并发让两个LED同时亮的方法
2019/02/18 Python
复化梯形求积分实例——用Python进行数值计算
2019/11/20 Python
python安装后的目录在哪里
2020/06/21 Python
新英格兰最大的特色礼品连锁店:The Paper Store
2018/07/23 全球购物
设计总监岗位职责
2013/12/07 职场文书
初三化学教学反思
2014/01/23 职场文书
家长对小学生的评语
2014/01/28 职场文书
中班幼儿评语大全
2014/04/30 职场文书
红头文件任命书范本
2014/06/05 职场文书
大学学生个人总结
2015/02/15 职场文书
高考要来啦!用Python爬取历年高考数据并分析
2021/06/03 Python