pandas 空数据处理方法详解


Posted in Python onNovember 02, 2019

这篇文章主要介绍了pandas 空数据处理方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

方法一:直接删除

1.查看行或列是否有空格(以下的df为DataFrame类型,axis=0,代表列,axis=1代表行,以下的返回值都是行或列索引加上布尔值)

isnull方法

查看行:df.isnull().any(axis=1)

查看列:df.isnull().any(axis=0)

notnull方法:

查看行:df.notnull().all(axis=1)

查看列:df.notnull().all(axis=0)

例子:

df.isnull().any(axis=1) # 检测行内是否有空值
0 False
1 True
2 False
3 True
4 False
5 True
6 False
7 True
8 False
9 False
dtype: bool

注意点:以上方法都可以用~取反的办法获取相反的结果

2.在1的前提下使用df.loc[],可取出1中筛选出数据的具体数据如:

df.loc[df.isnull().any(axis=1)]

取出这几行的索引可用属性index如:df.loc[df.isnull().any(axis=1)].index

得到这些索引后可以使用drop方法进行删除如:

注意:drop方法中的axis值与其他方法相反,axis=0表示行,=1表示列。

df.drop(labels=drop_index, axis=0)

总结下来为4步:

一.使用isnull或notnull筛选:df.isnull().any(axis=0)

二.使用loc取出具体数据:df.loc[df.isnull().any(axis=1)]

三:取出这些数据的索引:df.loc[df.isnull().any(axis=1)].index

四.使用drop删除:df.drop(labels=drop_index, axis=0)

方法二:填充空值

步骤和方法一前几步相同

isnull()

notnull()

dropna(): 过滤丢失数据(df.dropna() 可以选择过滤的是行还是列(默认为行):axis中0表示行,1表示的列)

fillna(): 填充丢失数据(可以选择自主添加数据,或者用表中原有的数据进行补充)

1.使用dropna(不常用):df.dropna(axis=0)

2.使用fillna(常用):

一.df.fillna(value=666)给所有的控制赋值为666

二.df.fillna(method='ffill', axis=0) # axis=0表示在垂直方向填充(axis值:0为垂直,1为水平),使用上方的值对空值进行填充,组合起来就是,使用垂直方向上方的值对当前位置的值进行填充

三.df.fillna(method='bfill', axis=1) # axis=1表示在水平方向填充(axis值为0垂直1为水平),bfill表示使用后面的值对空值进行填充,组合起来就是,使用水平方向右边的值对当前位置的值进行填充

总结:ffill(前)和bfill(后)决定前或后,axis决定垂直或水平

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现爬虫统计学校BBS男女比例(一)
Dec 31 Python
Python数据结构之顺序表的实现代码示例
Nov 15 Python
django使用html模板减少代码代码解析
Dec 12 Python
python用BeautifulSoup库简单爬虫实例分析
Jul 30 Python
Python分割指定页数的pdf文件方法
Oct 26 Python
Python 实现取矩阵的部分列,保存为一个新的矩阵方法
Nov 14 Python
python石头剪刀布小游戏(三局两胜制)
Jan 20 Python
python使用Qt界面以及逻辑实现方法
Jul 10 Python
Django Admin设置应用程序及模型顺序方法详解
Apr 01 Python
Python StringIO及BytesIO包使用方法解析
Jun 15 Python
Python打印不合法的文件名
Jul 31 Python
python rsa-oaep加密的示例代码
Sep 23 Python
python pyinstaller打包exe报错的解决方法
Nov 02 #Python
python自动生成model文件过程详解
Nov 02 #Python
python__name__原理及用法详解
Nov 02 #Python
简单了解python中的f.b.u.r函数
Nov 02 #Python
如何在python中实现随机选择
Nov 02 #Python
图解python全局变量与局部变量相关知识
Nov 02 #Python
Python如何实现动态数组
Nov 02 #Python
You might like
我的群发邮件程序
2006/10/09 PHP
php 获取可变函数参数的函数
2009/08/26 PHP
PHP安全上传图片的方法
2015/03/21 PHP
php魔法函数与魔法常量使用介绍
2017/07/23 PHP
jQuery随便控制任意div隐藏的方法
2013/06/28 Javascript
js获取url中的参数且参数为中文时通过js解码
2014/03/19 Javascript
无限树Jquery插件zTree的常用功能特性总结
2014/09/11 Javascript
jQuery实现瀑布流布局
2014/12/12 Javascript
node.js中的fs.ftruncate方法使用说明
2014/12/15 Javascript
angular.foreach 循环方法使用指南
2015/01/06 Javascript
Boostrap模态窗口的学习小结
2016/03/28 Javascript
jquery计算出left和top,让一个div水平垂直居中的简单实例
2016/07/13 Javascript
jquery.validate表单验证插件使用方法解析
2016/11/07 Javascript
nodejs搭建本地服务器并访问文件操作示例
2019/05/11 NodeJs
详解node和ES6的模块导出与导入
2020/02/19 Javascript
node.js如何操作MySQL数据库
2020/10/29 Javascript
[00:48]食人魔魔法师至宝“金鹏之幸”全新模型和自定义特效展示
2019/12/19 DOTA
记录Django开发心得
2014/07/16 Python
python中类变量与成员变量的使用注意点总结
2017/04/29 Python
Python实现的用户登录系统功能示例
2018/02/05 Python
python 字典操作提取key,value的方法
2019/06/26 Python
使用Python自动生成HTML的方法示例
2019/08/06 Python
Django-xadmin+rule对象级权限的实现方式
2020/03/30 Python
解决Keras中循环使用K.ctc_decode内存不释放的问题
2020/06/29 Python
python解释器安装教程的方法步骤
2020/07/02 Python
Python+Appium实现自动化清理微信僵尸好友的方法
2021/02/04 Python
Hurley官方网站:扎根于海滩生活方式的全球青年文化品牌
2020/05/18 全球购物
环境建设实施方案
2014/03/14 职场文书
物业保安员岗位职责
2014/03/14 职场文书
政府领导干部个人对照检查材料思想汇报
2014/09/24 职场文书
公路局群众路线教育实践活动第一阶段工作汇报
2014/10/25 职场文书
《有余数的除法》教学反思
2016/02/22 职场文书
导游词之广西漓江
2019/11/02 职场文书
Python生成九宫格图片的示例代码
2021/04/14 Python
Django实现聊天机器人
2021/05/31 Python
Python爬虫实战之爬取京东商品数据并实实现数据可视化
2021/06/07 Python