Python使用pandas处理CSV文件的实例讲解


Posted in Python onJune 22, 2018

Python中有许多方便的库可以用来进行数据处理,尤其是Numpy和Pandas,再搭配matplot画图专用模块,功能十分强大。

CSV(Comma-Separated Values)格式的文件是指以纯文本形式存储的表格数据,这意味着不能简单的使用Excel表格工具进行处理,而且Excel表格处理的数据量十分有限,而使用Pandas来处理数据量巨大的CSV文件就容易的多了。

我用到的是自己用其他硬件工具抓取得数据,硬件环境是在Linux平台上搭建的,当时数据是在运行脚本后直接输出在terminal里的,数据量十分庞大,为了保存获得的数据,在Linux下使用了数据流重定向,把数据全部保存到了文本文件中,形成了一个本地csv文件。

Pandas读取本地CSV文件并设置Dataframe(数据格式)

import pandas as pd
import numpy as np
df=pd.read_csv('filename',header=None,sep=' ') #filename可以直接从盘符开始,标明每一级的文件夹直到csv文件,header=None表示头部为空,sep=' '表示数据间使用空格作为分隔符,如果分隔符是逗号,只需换成 ‘,'即可。
print df.head()
print df.tail()
#作为示例,输出CSV文件的前5行和最后5行,这是pandas默认的输出5行,可以根据需要自己设定输出几行的值

Python使用pandas处理CSV文件的实例讲解

数据读取示例

图片中显示了我本地数据的前5行与最后5行,最前面一列没有标号的是行号,数据一共有13列,标号从0到12,一行显示不完全,在第9列以后换了行,并且用反斜杠“\”标注了出来。

2017年4月28日更新

使用pandas直接读取本地的csv文件后,csv文件的列索引默认为从0开始的数字,重定义列索引的语句如下:

import pandas as pd
import numpy as np
df=pd.read_csv('filename',header=None,sep=' ',names=["week",'month','date','time','year','name1','freq1','name2','freq2','name3','data1','name4','data2'])
print df

此时打印出的文件信息如下,列索引已经被重命名:

Python使用pandas处理CSV文件的实例讲解

以上这篇Python使用pandas处理CSV文件的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中对list去重的多种方法
Sep 18 Python
在Python中使用元类的教程
Apr 28 Python
基python实现多线程网页爬虫
Sep 06 Python
python3操作mysql数据库的方法
Jun 23 Python
使用Python的turtle模块画图的方法
Nov 15 Python
使用python3+xlrd解析Excel的实例
May 04 Python
python cv2截取不规则区域图片实例
Dec 21 Python
Python中filter与lambda的结合使用详解
Dec 24 Python
Python的pygame安装教程详解
Feb 10 Python
django处理select下拉表单实例(从model到前端到post到form)
Mar 13 Python
Python实现邮件发送的详细设置方法(遇到问题)
Jan 18 Python
python 制作本地应用搜索工具
Feb 27 Python
python处理csv中的空值方法
Jun 22 #Python
Python实现base64编码的图片保存到本地功能示例
Jun 22 #Python
关于python2 csv写入空白行的问题
Jun 22 #Python
浅谈Python2、Python3相对路径、绝对路径导入方法
Jun 22 #Python
Python基于pandas实现json格式转换成dataframe的方法
Jun 22 #Python
深入浅析Python的类
Jun 22 #Python
基于python绘制科赫雪花
Jun 22 #Python
You might like
福利彩票幸运号码自动生成器
2006/10/09 PHP
THINKPHP+JS实现缩放图片式截图的实现
2010/03/07 PHP
PHP表单递交控件名称含有点号(.)会被转化为下划线(_)的处理方法
2013/01/06 PHP
ajax取消挂起请求的处理方法
2013/03/18 PHP
mac环境中使用brew安装php5.5.15
2014/08/18 PHP
laravel框架关于搜索功能的实现
2018/03/15 PHP
PHP之header函数详解
2021/03/02 PHP
JScript 脚本实现文件下载 一般用于下载木马
2009/10/29 Javascript
理解Javascript_07_理解instanceof实现原理
2010/10/15 Javascript
JS之Date对象和获取系统当前时间详解
2014/01/13 Javascript
JavaScript实现的链表数据结构实例
2015/04/02 Javascript
轻量级javascript 框架Backbone使用指南
2015/07/24 Javascript
详解jQuery选择器
2016/12/21 Javascript
React创建组件的三种方式及其区别
2017/01/12 Javascript
JS实现二叉查找树的建立以及一些遍历方法实现
2017/04/17 Javascript
EasyUI中的dataGrid的行内编辑
2017/06/22 Javascript
使用jQuery 操作table 完成单元格合并的实例
2017/12/27 jQuery
基于jQuery ztree实现表格风格的树状结构
2018/08/31 jQuery
Vue源码探究之状态初始化
2018/11/14 Javascript
JavaScript this在函数中的指向及实例详解
2019/10/14 Javascript
继承行为在 ES5 与 ES6 中的区别详解
2019/12/24 Javascript
JavaScript中变量提升和函数提升的详解
2020/08/07 Javascript
js实现三角形粒子运动
2020/09/22 Javascript
VueCli生产环境打包部署跨域失败的解决
2020/11/13 Javascript
Python 绘图和可视化详细介绍
2017/02/11 Python
python实现搜索文本文件内容脚本
2018/06/22 Python
python中join()方法介绍
2018/10/11 Python
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
2019/04/18 Python
PyTorch中的Variable变量详解
2020/01/07 Python
澳大利亚电子产品购物网站:Dick Smith
2017/02/02 全球购物
美国婚礼礼品网站:MyWeddingFavors
2018/09/26 全球购物
网络安全方面的面试题
2016/01/07 面试题
师范生自我鉴定范文
2013/10/05 职场文书
高中生班主任评语
2014/04/25 职场文书
2014银行授权委托书样本
2014/10/04 职场文书
复制别人的成功真的会成功吗?
2019/10/17 职场文书