pandas 空数据处理方法详解


Posted in Python onNovember 02, 2019

这篇文章主要介绍了pandas 空数据处理方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

方法一:直接删除

1.查看行或列是否有空格(以下的df为DataFrame类型,axis=0,代表列,axis=1代表行,以下的返回值都是行或列索引加上布尔值)

isnull方法

查看行:df.isnull().any(axis=1)

查看列:df.isnull().any(axis=0)

notnull方法:

查看行:df.notnull().all(axis=1)

查看列:df.notnull().all(axis=0)

例子:

df.isnull().any(axis=1) # 检测行内是否有空值
0 False
1 True
2 False
3 True
4 False
5 True
6 False
7 True
8 False
9 False
dtype: bool

注意点:以上方法都可以用~取反的办法获取相反的结果

2.在1的前提下使用df.loc[],可取出1中筛选出数据的具体数据如:

df.loc[df.isnull().any(axis=1)]

取出这几行的索引可用属性index如:df.loc[df.isnull().any(axis=1)].index

得到这些索引后可以使用drop方法进行删除如:

注意:drop方法中的axis值与其他方法相反,axis=0表示行,=1表示列。

df.drop(labels=drop_index, axis=0)

总结下来为4步:

一.使用isnull或notnull筛选:df.isnull().any(axis=0)

二.使用loc取出具体数据:df.loc[df.isnull().any(axis=1)]

三:取出这些数据的索引:df.loc[df.isnull().any(axis=1)].index

四.使用drop删除:df.drop(labels=drop_index, axis=0)

方法二:填充空值

步骤和方法一前几步相同

isnull()

notnull()

dropna(): 过滤丢失数据(df.dropna() 可以选择过滤的是行还是列(默认为行):axis中0表示行,1表示的列)

fillna(): 填充丢失数据(可以选择自主添加数据,或者用表中原有的数据进行补充)

1.使用dropna(不常用):df.dropna(axis=0)

2.使用fillna(常用):

一.df.fillna(value=666)给所有的控制赋值为666

二.df.fillna(method='ffill', axis=0) # axis=0表示在垂直方向填充(axis值:0为垂直,1为水平),使用上方的值对空值进行填充,组合起来就是,使用垂直方向上方的值对当前位置的值进行填充

三.df.fillna(method='bfill', axis=1) # axis=1表示在水平方向填充(axis值为0垂直1为水平),bfill表示使用后面的值对空值进行填充,组合起来就是,使用水平方向右边的值对当前位置的值进行填充

总结:ffill(前)和bfill(后)决定前或后,axis决定垂直或水平

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 动态获取当前运行的类名和函数名的方法
Apr 15 Python
Python去除列表中重复元素的方法
Mar 20 Python
简单谈谈Python流程控制语句
Dec 04 Python
Python实现的下载网页源码功能示例
Jun 13 Python
python调用tcpdump抓包过滤的方法
Jul 18 Python
django 外键model的互相读取方法
Dec 15 Python
用Python实现最速下降法求极值的方法
Jul 10 Python
解决pytorch-yolov3 train 报错的问题
Feb 18 Python
opencv+python实现鼠标点击图像,输出该点的RGB和HSV值
Jun 02 Python
基于python实现简单C/S模式代码实例
Sep 14 Python
Python图像处理之膨胀与腐蚀的操作
Feb 07 Python
Python数据可视化之绘制柱状图和条形图
May 25 Python
python pyinstaller打包exe报错的解决方法
Nov 02 #Python
python自动生成model文件过程详解
Nov 02 #Python
python__name__原理及用法详解
Nov 02 #Python
简单了解python中的f.b.u.r函数
Nov 02 #Python
如何在python中实现随机选择
Nov 02 #Python
图解python全局变量与局部变量相关知识
Nov 02 #Python
Python如何实现动态数组
Nov 02 #Python
You might like
关于手调机和数调机的选择
2021/03/02 无线电
PHP新手上路(十一)
2006/10/09 PHP
php自动适应范围的分页代码
2008/08/05 PHP
php 3行代码的分页算法(求起始页和结束页)
2009/10/21 PHP
使用php自动备份数据库表的实现方法
2017/07/28 PHP
jquery 关键字“拖曳搜索”之“拖曳”以及 图片“提示自适应放大”效果 的实现
2010/04/18 Javascript
Js 时间间隔计算的函数(间隔天数)
2011/11/15 Javascript
jQuery实现带水平滑杆的焦点图动画插件
2016/03/08 Javascript
百度多文件异步上传控件webuploader基本用法解析
2016/11/07 Javascript
解析Javascript单例模式概念与实例
2016/12/05 Javascript
node中使用es5/6以及支持性与性能对比
2017/08/11 Javascript
js+html实现周岁年龄计算器
2019/06/25 Javascript
JS实现小星星特效
2019/12/24 Javascript
Vue关于组件化开发知识点详解
2020/05/13 Javascript
[41:20]2014 DOTA2华西杯精英邀请赛 5 24 NewBee VS DK
2014/05/26 DOTA
[02:16]深扒TI7聊天轮盘语音出处2
2017/05/11 DOTA
Python实现针对给定单链表删除指定节点的方法
2018/04/12 Python
Python 实现Windows开机运行某软件的方法
2018/10/14 Python
详解Python locals()的陷阱
2019/03/26 Python
解决pandas展示数据输出时列名不能对齐的问题
2019/11/18 Python
使用before和:after伪类制作css3圆形按钮
2014/04/08 HTML / CSS
Bootstrap File Input文件上传组件
2020/12/01 HTML / CSS
MyFrenchPharma中文网:最大的法国药妆平台
2016/10/07 全球购物
卡西欧G-SHOCK英国官网: 防水防震手表
2018/01/08 全球购物
最便宜促销价格订机票:Airpaz(总部设在印尼,支持中文)
2018/11/13 全球购物
Perfume’s Club英国官网:购买香水和护肤品
2019/11/02 全球购物
拉丁舞学习者的自我评价
2013/10/27 职场文书
物业客服专员岗位职责
2013/11/30 职场文书
自我评价怎么写正确呢?
2013/12/02 职场文书
公司联欢晚会主持词
2014/03/22 职场文书
春风行动实施方案
2014/03/28 职场文书
五四青年节的活动方案
2014/08/20 职场文书
2014党员学习兰辉先进事迹思想汇报
2014/09/17 职场文书
2015年中学图书馆工作总结
2015/07/22 职场文书
PyTorch device与cuda.device用法
2022/04/03 Python
Nginx 配置 HTTPS的详细过程
2022/05/30 Servers