Python使用Pandas对csv文件进行数据处理的方法


Posted in Python onAugust 01, 2019

今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝试用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了Python下的一个神器包:Pandas(熊猫们?),加载这个140多M的csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛逼了!记录一下这次数据处理的过程:

使用Python3.6.4环境(对中文支持比较好),安装Pandas包

pip install pandas

基本使用:

import pandas as pd
import numpy as np #进行具体的sum,count等计算时候要用到的
df=pd.read_csv('d:/snp/nh23.csv') #这里绝对路径一定要用/,windows下也是如此,不加参数默认csv文件首行为标题行
df.head() #查看引入的csv文件前5行数据
df[“播种面积”] #查看指定列,后面跟[:5]查看前5行数据

Python使用Pandas对csv文件进行数据处理的方法

df[“调查对象代码”].str[:6] #获取指定列前6位字符串

df["ADDR"]=df["调查对象代码"].str[:6] #将上一行处理后的6位地址码作为新列ADDR插入

Python使用Pandas对csv文件进行数据处理的方法

gp=df.groupby(["ADDR","代码"])["播种面积"].sum() #根据ADDR和代码进行分组后对播种面积列进行sum求和计算

Python使用Pandas对csv文件进行数据处理的方法

pv=df.pivot_table(["播种面积"],index="ADDR",columns="代码",margins=True,aggfunc=np.sum,fill_value=0) #数据透视图,对播种面积列进行汇总计算,index为行,columns为列,margins=True增加一个全部行汇总,aggfunc=np.sum透视图中对播种面积值进行sum计算,这里np是开头import的numpy as np,fill_value=0对空值进行0替换,否则没有数据会显示NaN

Python使用Pandas对csv文件进行数据处理的方法

pv.to_csv("d:/snp/test.csv") #写入csv文件

总结

以上所述是小编给大家介绍的Python使用Pandas对csv文件进行数据处理的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中使用 Selenium 实现网页截图实例
Jul 18 Python
Python open()文件处理使用介绍
Nov 30 Python
Python list操作用法总结
Nov 10 Python
python numpy函数中的linspace创建等差数列详解
Oct 13 Python
Flask解决跨域的问题示例代码
Feb 12 Python
python递归函数绘制分形树的方法
Jun 22 Python
python中count函数简单用法
Jan 05 Python
Python flask框架如何显示图像到web页面
Jun 03 Python
opencv 图像腐蚀和图像膨胀的实现
Jul 07 Python
Python extract及contains方法代码实例
Sep 11 Python
如何基于pandas读取csv后合并两个股票
Sep 25 Python
python开发实时可视化仪表盘的示例
May 07 Python
python使用writerows写csv文件产生多余空行的处理方法
Aug 01 #Python
python psutil模块使用方法解析
Aug 01 #Python
python读写csv文件并增加行列的实例代码
Aug 01 #Python
Flask框架重定向,错误显示,Responses响应及Sessions会话操作示例
Aug 01 #Python
python对csv文件追加写入列的方法
Aug 01 #Python
Django Aggregation聚合使用方法解析
Aug 01 #Python
Flask教程之重定向与错误处理实例分析
Aug 01 #Python
You might like
PHP教程 预定义变量
2009/10/23 PHP
php程序员应具有的7种能力小结
2014/11/27 PHP
jQuery插件的写法分享
2013/06/12 Javascript
javascript不同类型数据之间的运算的转换方法
2014/02/13 Javascript
a标签的href与onclick事件的区别详解
2014/11/12 Javascript
jQuery中is()方法用法实例
2015/01/06 Javascript
js+css实现导航效果实例
2015/02/10 Javascript
JavaScript、tab切换完整版(自动切换、鼠标移入停止、移开运行)
2016/01/05 Javascript
Javascript HTML5 Canvas实现的一个画板
2020/04/12 Javascript
批量下载对路网图片并生成html的实现方法
2016/06/07 Javascript
javascript this详细介绍
2016/09/19 Javascript
AngularJS打开页面隐藏显示表达式用法示例
2016/12/25 Javascript
Angularjs使用指令做表单校验的方法
2017/03/31 Javascript
详谈commonjs模块与es6模块的区别
2017/10/18 Javascript
详解React项目如何修改打包地址(编译输出文件地址)
2019/03/21 Javascript
Node.js实现批量下载图片简单操作示例
2020/01/18 Javascript
Vue组件跨层级获取组件操作
2020/07/27 Javascript
js编写简易的计算器
2020/07/29 Javascript
[49:27]2018DOTA2亚洲邀请赛 4.4 淘汰赛 TNC vs VG 第一场
2018/04/05 DOTA
Python实现程序的单一实例用法分析
2015/06/03 Python
使用Python爬取最好大学网大学排名
2018/02/24 Python
Python读取properties配置文件操作示例
2018/03/29 Python
python自动查询12306余票并发送邮箱提醒脚本
2018/05/21 Python
python实现批量图片格式转换
2020/06/16 Python
python实现全盘扫描搜索功能的方法
2019/02/14 Python
docker django无法访问redis容器的解决方法
2019/08/21 Python
Tensorflow 多线程设置方式
2020/02/06 Python
美国生日蛋糕店:Bake Me A Wish!
2017/02/08 全球购物
美国在线面料商店:Online Fabric Store
2018/07/26 全球购物
浪漫婚礼主题活动策划方案
2014/09/15 职场文书
党政领导班子民主生活会整改措施
2014/09/18 职场文书
幼儿园见习报告范文
2014/10/30 职场文书
2015年妇联工作总结范文
2015/04/22 职场文书
违纪开除通知书
2015/04/25 职场文书
《童年的发现》教学反思
2016/02/18 职场文书
threejs太阳光与阴影效果实例代码
2022/04/05 Javascript