Pandas库之DataFrame使用的学习笔记


Posted in Python onJune 21, 2019

1 简介

DataFrame是Python中Pandas库中的一种数据结构,它类似excel,是一种二维表。

或许说它可能有点像matlab的矩阵,但是matlab的矩阵只能放数值型值(当然matlab也可以用cell存放多类型数据),DataFrame的单元格可以存放数值、字符串等,这和excel表很像。

同时DataFrame可以设置列名columns与行名index,可以通过像matlab一样通过位置获取数据也可以通过列名和行名定位,具体方法在后面细说。

2 创建DataFrame

首先声明一下,以下都是使用的Python 3.6.5版本为例,Python2应该也差不多吧(大概

在所有操作之前当然要先import必要的pandas库,因为pandas常与numpy一起配合使用,所以也一起import吧。

import pandas as pd
import numpy as np

如果还没安装直接在cmd里pip安装吧,如果有版本选择问题,参看之前的帖子。

pip install pandas
pip install numpy

2.1 直接创建

可以直接使用pandas的DataFrame函数创建,比如接下来我们随机创建一个4*4的DataFrame。

df1=pd.DataFrame(np.random.randn(4,4),index=list('ABCD'),columns=list('ABCD'))

其中第一个参数是存放在DataFrame里的数据,第二个参数index就是之前说的行名(或者应该叫索引?),第三个参数columns是之前说的列名。

后两个参数可以使用list输入,但是注意,这个list的长度要和DataFrame的大小匹配,不然会报错。当然,这两个参数是可选的,你可以选择不设置。

而且发现,这两个list是可以一样的,但是每行每列的名字在index或columns里要是唯一的。

使用python自己的shell展示创建的结果是这样的:

Pandas库之DataFrame使用的学习笔记

或者在jupyter里面更酷点的样子,接下来都使用jupyter输出展示吧。

Pandas库之DataFrame使用的学习笔记

当然,如果你的数据量贼小,也可以自己输入创建,类似这样。

df2=pd.DataFrame([[1,2,3,4],[2,3,4,5],
         [3,4,5,6],[4,5,6,7]],
         index=list('ABCD'),columns=list('ABCD'))

这样也可以得到这样子的DataFrame:

Pandas库之DataFrame使用的学习笔记

2.2 使用字典创建

仍然是使用DataFrame这个函数,但是字典的每个key的value代表一列,而key是这一列的列名。比如这样。

dic1={'name':['小明','小红','狗蛋','铁柱'],'age':[17,20,5,40],'gender':['男','女','女','男']}
df3=pd.DataFrame(dic1)

输出结果是这样的

Pandas库之DataFrame使用的学习笔记

3 查看与筛选数据

python没有matlab的工作区直接查看变量与内容,这大概是python科学计算的一个缺点。所以需要格外的代码来查看,最基本的直接写变量名与print就不说了。

3.1 查看列的数据类型

使用dtypes方法可以查看各列的数据类型,比如说刚刚的df3。

df3.dtypes

输出的结果是这样:

Pandas库之DataFrame使用的学习笔记

3.2 查看DataFrame的头尾

使用head可以查看前几行的数据,默认的是前5行,不过也可以自己设置。

使用tail可以查看后几行的数据,默认也是5行,参数可以自己设置。

比如随意设置一个6*6的数据,只看前5行。

df4=pd.DataFrame(np.random.randn(6,6))
df4.head()

Pandas库之DataFrame使用的学习笔记

比如只看前3行。

df4.head(3)

Pandas库之DataFrame使用的学习笔记

比如看后5行。

df4.tail()

Pandas库之DataFrame使用的学习笔记

比如只看后2行。

df4.tail(2)

Pandas库之DataFrame使用的学习笔记

3.3 查看行名与列名

使用index查看行名,columns查看列名。具体由例子感受吧。

查看行名。

df1.index

Pandas库之DataFrame使用的学习笔记

查看列名。

df3.columns

Pandas库之DataFrame使用的学习笔记

3.4 查看数据值

使用values可以查看DataFrame里的数据值,返回的是一个数组。

比如说查看所有的数据值。

df3.values

Pandas库之DataFrame使用的学习笔记

比如说查看某一列所有的数据值。

df3['name'].values

Pandas库之DataFrame使用的学习笔记

还有另一种操作,使用loc或者iloc查看数据值(但是好像只能根据行来查看?)。区别是loc是根据行名,iloc是根据数字索引(也就是行号)。

比如说这样。

df1.loc['A']

Pandas库之DataFrame使用的学习笔记

或者这样。

df1.iloc[0]

Pandas库之DataFrame使用的学习笔记

按列进行索引查看数据还能直接使用列名,但这种方法对行索引不适用。

df3['name']

Pandas库之DataFrame使用的学习笔记

3.5 查看行列数

使用shape查看行列数,参数为0表示查看行数,参数为1表示查看列数。

df3.shape[0]

Pandas库之DataFrame使用的学习笔记

df3.shape[1]

Pandas库之DataFrame使用的学习笔记

4 基本操作

DataFrame有些方法可以直接进行数据统计,矩阵计算之类的基本操作。

4.1 转置

直接字母T,线性代数上线。

比如说把之前的df2转置一下。

df3.T

Pandas库之DataFrame使用的学习笔记

4.2 描述性统计

使用describe可以对数据根据列进行描述性统计。

比如说对df1进行描述性统计。

df1.describe()

Pandas库之DataFrame使用的学习笔记

如果有的列是非数值型的,那么就不会进行统计。

如果想对行进行描述性统计,请参看4.1(转置后进行describe呀!)

4.3 计算

使用sum默认对每列求和,sum(1)为对每行求和。比如

df3.sum()

Pandas库之DataFrame使用的学习笔记

可以发现就算元素是字符串,使用sum也会加起来。

df3.sum(1)

Pandas库之DataFrame使用的学习笔记

而一行中,有字符串有数值则只计算数值。

数乘运算使用apply,比如。

df2.apply(lambda x:x*2)

Pandas库之DataFrame使用的学习笔记

如果元素是字符串,则会把字符串再重复一遍。

乘方运算跟matlab类似,直接使用两个*,比如。

df2**2

Pandas库之DataFrame使用的学习笔记

乘方运算如果有元素是字符串的话,就会报错。

4.4 新增

扩充列可以直接像字典一样,列名对应一个list,但是注意list的长度要跟index的长度一致。

df2['E']=['999','999','999','999']df2

Pandas库之DataFrame使用的学习笔记

还可以使用insert,使用这个方法可以指定把列插入到第几列,其他的列顺延。

df2['E']=['999','999','999','999']
df2

Pandas库之DataFrame使用的学习笔记

4.5 合并

使用join可以将两个DataFrame合并,但只根据行列名合并,并且以作用的那个DataFrame的为基准。如下所示,新的df7是以df2的行号index为基准的。

df6=pd.DataFrame(['my','name','is','a'],index=list('ACDH'),columns=list('G'))
df6
df7=df2.join(df6)
df7

Pandas库之DataFrame使用的学习笔记

但是,join这个方法还有how这个参数可以设置,合并两个DataFrame的交集或并集。参数为'inner'表示交集,'outer'表示并集。

df6=pd.DataFrame(['my','name','is','a'],index=list('ACDH'),columns=list('G'))
df6
df7=df2.join(df6)
df7

Pandas库之DataFrame使用的学习笔记

如果要合并多个Dataframe,可以用list把几个Dataframe装起来,然后使用concat转化为一个新的Dataframe。

df6=pd.DataFrame(['my','name','is','a'],index=list('ACDH'),columns=list('G'))
df6
df7=df2.join(df6)
df7

Pandas库之DataFrame使用的学习笔记

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python解析json实例方法
Nov 19 Python
谈谈Python进行验证码识别的一些想法
Jan 25 Python
Python中二维列表如何获取子区域元素的组成
Jan 19 Python
Python 使用with上下文实现计时功能
Mar 09 Python
深入浅析Python中list的复制及深拷贝与浅拷贝
Sep 03 Python
Python中常用的内置方法
Jan 28 Python
Django框架orM与自定义SQL语句混合事务控制操作
Jun 27 Python
Django项目主urls导入应用中views的红线问题解决
Aug 10 Python
Python配置文件处理的方法教程
Aug 29 Python
python实现的多任务版udp聊天器功能案例
Nov 13 Python
如何基于Python制作有道翻译小工具
Dec 16 Python
基于MSELoss()与CrossEntropyLoss()的区别详解
Jan 02 Python
pyqt5之将textBrowser的内容写入txt文档的方法
Jun 21 #Python
pandas 数据索引与选取的实现方法
Jun 21 #Python
python实现二级登陆菜单及安装过程
Jun 21 #Python
浅谈pyqt5在QMainWindow中布局的问题
Jun 21 #Python
jupyter notebook 中输出pyecharts图实例
Apr 23 #Python
解决pyqt5中QToolButton无法使用的问题
Jun 21 #Python
Pandas删除数据的几种情况(小结)
Jun 21 #Python
You might like
解决了Ajax、MySQL 和 Zend Framework 的乱码问题
2009/03/03 PHP
php Smarty初体验二 获取配置信息
2011/08/08 PHP
JSON在PHP中的应用介绍
2012/09/08 PHP
PHP输出当前进程所有变量/常量/模块/函数/类的示例
2013/11/07 PHP
CodeIgniter框架URL路由总结
2014/09/03 PHP
PHP编程实现的TCP服务端和客户端功能示例
2018/04/13 PHP
swoole锁的机制代码实例讲解
2021/03/04 PHP
Jquery选择器 $实现原理
2009/12/02 Javascript
chrome浏览器不支持onmouseleave事件的解决技巧
2013/05/31 Javascript
获取非最后一列td值并将title设为该值的方法
2013/10/30 Javascript
基于NodeJS的前后端分离的思考与实践(六)Nginx + Node.js + Java 的软件栈部署实践
2014/09/26 NodeJs
jQuery版AJAX简易封装代码
2016/09/14 Javascript
jQuery使用正则验证15/18身份证的方法示例
2017/04/27 jQuery
jquery实现图片上传前本地预览
2017/04/28 jQuery
JS获取数组中出现次数最多及第二多元素的方法
2017/10/27 Javascript
使用socket.io实现简单聊天室案例
2018/01/02 Javascript
php 解压zip压缩包内容到指定目录的实例
2018/01/23 Javascript
vue2.0 根据状态值进行样式的改变展示方法
2018/03/13 Javascript
ES6使用 Array.includes 处理多重条件用法实例分析
2020/03/02 Javascript
JS 获取文件后缀,判断文件类型(比如是否为图片格式)
2020/05/09 Javascript
Vue实现可移动水平时间轴
2020/06/29 Javascript
[59:42]Secret vs Alliacne 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/17 DOTA
python client使用http post 到server端的代码
2013/02/10 Python
简单理解Python中的装饰器
2015/07/31 Python
Appium+Python自动化测试之运行App程序示例
2019/01/23 Python
python判断链表是否有环的实例代码
2020/01/31 Python
对Python中 \r, \n, \r\n的彻底理解
2020/03/06 Python
Jupyter加载文件的实现方法
2020/04/14 Python
解决paramiko执行命令超时的问题
2020/04/16 Python
Python使用Selenium模拟浏览器自动操作功能
2020/09/08 Python
用sleep间隔进行python反爬虫的实例讲解
2020/11/30 Python
css3和jquery实现的可折叠导航菜单适合放在手机网页的导航菜单
2014/09/02 HTML / CSS
晚自修旷课检讨书怎么写
2014/11/17 职场文书
2015年计生协会工作总结
2015/04/24 职场文书
活动总结模板大全
2015/05/11 职场文书
Python爬取用户观影数据并分析用户与电影之间的隐藏信息!
2021/06/29 Python