Python使用Pandas对csv文件进行数据处理的方法


Posted in Python onAugust 01, 2019

今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝试用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了Python下的一个神器包:Pandas(熊猫们?),加载这个140多M的csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛逼了!记录一下这次数据处理的过程:

使用Python3.6.4环境(对中文支持比较好),安装Pandas包

pip install pandas

基本使用:

import pandas as pd
import numpy as np #进行具体的sum,count等计算时候要用到的
df=pd.read_csv('d:/snp/nh23.csv') #这里绝对路径一定要用/,windows下也是如此,不加参数默认csv文件首行为标题行
df.head() #查看引入的csv文件前5行数据
df[“播种面积”] #查看指定列,后面跟[:5]查看前5行数据

Python使用Pandas对csv文件进行数据处理的方法

df[“调查对象代码”].str[:6] #获取指定列前6位字符串

df["ADDR"]=df["调查对象代码"].str[:6] #将上一行处理后的6位地址码作为新列ADDR插入

Python使用Pandas对csv文件进行数据处理的方法

gp=df.groupby(["ADDR","代码"])["播种面积"].sum() #根据ADDR和代码进行分组后对播种面积列进行sum求和计算

Python使用Pandas对csv文件进行数据处理的方法

pv=df.pivot_table(["播种面积"],index="ADDR",columns="代码",margins=True,aggfunc=np.sum,fill_value=0) #数据透视图,对播种面积列进行汇总计算,index为行,columns为列,margins=True增加一个全部行汇总,aggfunc=np.sum透视图中对播种面积值进行sum计算,这里np是开头import的numpy as np,fill_value=0对空值进行0替换,否则没有数据会显示NaN

Python使用Pandas对csv文件进行数据处理的方法

pv.to_csv("d:/snp/test.csv") #写入csv文件

总结

以上所述是小编给大家介绍的Python使用Pandas对csv文件进行数据处理的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Flask SQLAlchemy一对一,一对多的使用方法实践
Feb 10 Python
使用Python脚本操作MongoDB的教程
Apr 16 Python
Python EOL while scanning string literal问题解决方法
Sep 18 Python
python删除字符串中指定字符的方法
Aug 13 Python
pyspark操作MongoDB的方法步骤
Jan 04 Python
对Python中实现两个数的值交换的集中方法详解
Jan 11 Python
Python while true实现爬虫定时任务
Jun 08 Python
自学python用什么系统好
Jun 23 Python
Pytorch 高效使用GPU的操作
Jun 27 Python
python3环境搭建过程(利用Anaconda+pycharm)完整版
Aug 19 Python
详解MindSpore自定义模型损失函数
Jun 30 Python
python+pyhyper实现识别图片中的车牌号思路详解
Dec 24 Python
python使用writerows写csv文件产生多余空行的处理方法
Aug 01 #Python
python psutil模块使用方法解析
Aug 01 #Python
python读写csv文件并增加行列的实例代码
Aug 01 #Python
Flask框架重定向,错误显示,Responses响应及Sessions会话操作示例
Aug 01 #Python
python对csv文件追加写入列的方法
Aug 01 #Python
Django Aggregation聚合使用方法解析
Aug 01 #Python
Flask教程之重定向与错误处理实例分析
Aug 01 #Python
You might like
php 代码优化之经典示例
2011/03/24 PHP
PHP获取指定函数定义在哪个文件中以及其所在的行号实例
2014/05/08 PHP
php输出xml必须header的解决方法
2014/10/17 PHP
Laravel框架用户登陆身份验证实现方法详解
2017/09/14 PHP
JS 页面内容搜索,类似于 Ctrl+F功能的实现代码
2007/08/13 Javascript
修改好的jquery滚动字幕效果实现代码
2011/06/22 Javascript
Jquery 实现表格颜色交替变化鼠标移过颜色变化实例
2013/08/28 Javascript
用js设置下拉框为只读的小技巧
2014/04/10 Javascript
JavaScript实现将xml转换成html table表格的方法
2015/04/17 Javascript
使用AngularJS中的SCE来防止XSS攻击的方法
2015/06/18 Javascript
实例讲解jquery与json的结合
2016/01/07 Javascript
JavaScript  cookie 跨域访问之广告推广
2016/04/20 Javascript
JavaScript数组实现数据结构中的队列与堆栈
2016/05/26 Javascript
jQuery 的 ready()的纯js替代方法
2016/11/20 Javascript
jquery网页日历显示控件calendar3.1使用详解
2016/11/24 Javascript
使用typescript开发angular模块并发布npm包
2018/04/19 Javascript
完美解决linux下node.js全局模块找不到的情况
2018/05/16 Javascript
如何理解Vue的v-model指令的使用方法
2018/07/19 Javascript
浅析JS中回调函数及用法
2018/07/25 Javascript
vuex实现及简略解析(小结)
2019/03/01 Javascript
Vue 通过公共字段,拼接两个对象数组的实例
2019/11/07 Javascript
python操作sqlite的CRUD实例分析
2015/05/08 Python
使用python实现BLAST
2018/02/12 Python
python实现远程控制电脑
2019/05/23 Python
新手如何发布Python项目开源包过程详解
2019/07/11 Python
Python如何安装第三方模块
2020/05/28 Python
python3跳出一个循环的实例操作
2020/08/18 Python
Python join()函数原理及使用方法
2020/11/14 Python
Canvas制作旋转的太极的示例
2018/03/09 HTML / CSS
英国户外玩具儿童游乐设备网站:TP Toys(蹦床、攀爬框架、秋千、滑梯和游戏屋)
2018/04/09 全球购物
大学生入党自我鉴定
2013/10/31 职场文书
运动会致辞稿50字
2014/02/04 职场文书
新闻学专业个人求职信写作
2014/02/04 职场文书
中学教师师德师风承诺书
2015/04/28 职场文书
小学生勤俭节约倡议书
2015/04/29 职场文书
nginx基于域名,端口,不同IP的虚拟主机设置的实现
2021/03/31 Servers