在Pandas中处理NaN值的方法


Posted in Python onJune 25, 2019

关于NaN值

-在能够使用大型数据集训练学习算法之前,我们通常需要先清理数据, 也就是说,我们需要通过某个方法检测并更正数据中的错误。
- 任何给定数据集可能会出现各种糟糕的数据,例如离群值或不正确的值,但是我们几乎始终会遇到的糟糕数据类型是缺少值。
- Pandas 会为缺少的值分配 NaN 值。

创建一个具有NaN值得 Data Frame

import pandas as pd

# We create a list of Python dictionaries
# 创建一个字典列表
items2 = [{'bikes': 20, 'pants': 30, 'watches': 35, 'shirts': 15, 'shoes':8, 'suits':45},
{'watches': 10, 'glasses': 50, 'bikes': 15, 'pants':5, 'shirts': 2, 'shoes':5, 'suits':7},
{'bikes': 20, 'pants': 30, 'watches': 35, 'glasses': 4, 'shoes':10}]

# 创建一个DataFrame并设置行索引
store_items = pd.DataFrame(items2, index = ['store 1', 'store 2', 'store 3'])

# 显示
store_items

显示:

在Pandas中处理NaN值的方法

数据量大时统计NaN的个数

# 计算在store_items中NaN值的个数
x = store_items.isnull().sum().sum()

# 输出
print('在我们DataFrame中NaN的数量:', x)

输出:

在我们DataFrame中NaN的数量: 3

.isnull() 方法返回一个大小和 store_items 一样的布尔型 DataFrame,并用 True 表示具有 NaN 值的元素,用 False 表示非 NaN 值的元素。

store_items.isnull()

显示:

在Pandas中处理NaN值的方法

在 Pandas 中,逻辑值 True 的数字值是 1,逻辑值 False 的数字值是 0。

因此,我们可以通过数逻辑值 True 的数量数出 NaN 值的数量。

为了数逻辑值 True 的总数,我们使用 .sum() 方法两次。

要使用该方法两次,是因为第一个 sum() 返回一个 Pandas Series,其中存储了列上的逻辑值 True 的总数

第二个 sum() 将上述 Pandas Series 中的 1 相加

除了数 NaN 值的数量之外,我们还可以采用相反的方式,我们可以数非 NaN 值的数量。为此,我们可以使用 .count() 方法

print('在我们DataFrame的列中具有非NaN值得数量分别为:\n', store_items.count())

输出:

在我们DataFrame的列中具有非NaN值得数量:
bikes 3
glasses 2
pants 3
shirts 2
shoes 3
suits 2
watches 3
dtype: int64

处理这些 NaN 值

  • 如果 axis = 0,.dropna(axis) 方法将删除包含 NaN 值的任何行
  • 如果 axis = 1,.dropna(axis) 方法将删除包含 NaN 值的任何列
# 删除包含NaN值得任何行
store_items.dropna(axis = 0)

显示为:

在Pandas中处理NaN值的方法

store_items.dropna(axis = 1)

显示为:

在Pandas中处理NaN值的方法

注意:

- .dropna() 方法不在原地地删除具有 NaN 值的行或列。
- 原始 DataFrame 不会改变。你始终可以在 dropna() 方法中将关键字 inplace 设为 True,在原地删除目标行或列。

将NaN值替换为合适的值

我们不再删除 NaN 值,而是将它们替换为合适的值。例如,我们可以选择将所有 NaN 值替换为 0。为此,我们可以使用 .fillna() 方法

store_items.fillna(0)

显示:

在Pandas中处理NaN值的方法

我们还可以使用 .fillna() 方法将 NaN 值替换为 DataFrame 中的上个值,称之为前向填充

.fillna(method = 'ffill', axis) 将通过前向填充 (ffill) 方法沿着给定 axis 使用上个已知值替换 NaN 值

store_items.fillna(method = 'ffill', axis = 0)

显示:

在Pandas中处理NaN值的方法

注意 store 3 中的两个 NaN 值被替换成了它们所在列中的上个值。

但是注意, store 1 中的 NaN 值没有被替换掉。因为这列前面没有值,因为 NaN 值是该列的第一个值。

现在,使用上个行值进行前向填充

store_items.fillna(method = 'ffill', axis = 1)

显示:

在Pandas中处理NaN值的方法

在这种情况下:所有 NaN 值都被替换成了之前的行值

同时,也可以选择用 DataFrame 中之后的值替换 NaN 值,称之为后向填充

# 向后填充列,即为NaN的列值,用其列中的后一个来填充
store_items.fillna(method = 'backfill', axis = 0)

同理:也可以向后填充行,即为NaN的行值,用其行中的后一个来填充

# 向后填充行,即为NaN的行值,用其行中的后一个来填充
store_items.fillna(method = 'backfill', axis = 1)

注意:.fillna() 方法不在原地地替换(填充)NaN 值。也就是说,原始 DataFrame 不会改变。你始终可以在 fillna() 函数中将关键字 inplace 设为 True,在原地替换 NaN 值。

还可以选择使用不同的插值方法替换 NaN 值

.interpolate(method = 'linear', axis) 方法将通过 linear 插值使用沿着给定 axis 的值替换 NaN 值, 这个差值也就是前后或者上下的中间值

store_items.interpolate(method = 'linear', axis = 0)

同时,也可用行值插入

store_items.interpolate(method = 'linear', axis = 1)

和我们看到的其他方法一样,.interpolate() 方法不在原地地替换 NaN 值,图片就省略了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python+POP3实现批量下载邮件附件
Jun 19 Python
解决pip install xxx报错SyntaxError: invalid syntax的问题
Nov 30 Python
Python实现点阵字体读取与转换的方法
Jan 29 Python
python开发之anaconda以及win7下安装gensim的方法
Jul 05 Python
Python实现Selenium自动化Page模式
Jul 14 Python
深入浅析Python科学计算库Scipy及安装步骤
Oct 12 Python
python3 webp转gif格式的实现示例
Dec 10 Python
python实现多进程按序号批量修改文件名的方法示例
Dec 30 Python
浅谈python元素如何去重,去重后如何保持原来元素的顺序不变
Feb 28 Python
python使用paramiko实现ssh的功能详解
Mar 06 Python
python 安装库几种方法之cmd,anaconda,pycharm详解
Apr 08 Python
使用pandas或numpy处理数据中的空值(np.isnan()/pd.isnull())
May 14 Python
python实现websocket的客户端压力测试
Jun 25 #Python
python中metaclass原理与用法详解
Jun 25 #Python
python实现接口并发测试脚本
Jun 25 #Python
Python实现EXCEL表格的排序功能示例
Jun 25 #Python
python实现动态创建类的方法分析
Jun 25 #Python
python pandas写入excel文件的方法示例
Jun 25 #Python
python多线程http压力测试脚本
Jun 25 #Python
You might like
php 静态页面中显示动态内容
2009/08/14 PHP
深入解析fsockopen与pfsockopen的区别
2013/07/05 PHP
非常有用的9个PHP代码片段
2016/04/06 PHP
Laravel使用支付宝进行支付的示例代码
2017/08/16 PHP
PHP函数按引用传递参数及函数可选参数用法示例
2018/06/04 PHP
JS input文本框禁用右键和复制粘贴功能的代码
2010/04/15 Javascript
收集的一些Array及String原型对象的扩展实现代码
2010/12/05 Javascript
jQuery EasyUI API 中文文档 - NumberBox数字框
2011/10/13 Javascript
Javascript控制input输入时间格式的方法
2015/01/28 Javascript
Bootstrap carousel轮转图的使用实例详解
2016/05/17 Javascript
完美实现八种js焦点轮播图(上篇)
2016/07/18 Javascript
jQuery使用正则验证15/18身份证的方法示例
2017/04/27 jQuery
简述JS浏览器的三种弹窗
2018/07/15 Javascript
原生JavaScript实现remove()和recover()功能示例
2018/07/24 Javascript
利用Bootstrap Multiselect实现下拉框多选功能
2019/04/08 Javascript
微信小程序实现的一键复制功能示例
2019/04/24 Javascript
jQuery实现轮播图效果demo
2020/01/11 jQuery
Python字符遍历的艺术
2008/09/06 Python
Python处理命令行参数模块optpars用法实例分析
2018/05/31 Python
Python3.5内置模块之time与datetime模块用法实例分析
2019/04/27 Python
python框架flask入门之环境搭建及开启调试
2020/06/07 Python
python使用列表的最佳方案
2020/08/12 Python
美国家喻户晓的保健品品牌:Vitamin World(维他命世界)
2016/08/19 全球购物
澳大利亚拥有最佳跳伞降落点和最好服务的跳伞项目运营商:Skydive Australia
2018/03/05 全球购物
英国健身仓库:Bodybuilding Warehouse
2019/03/06 全球购物
分厂厂长岗位职责
2013/12/29 职场文书
销售主管岗位职责范本
2014/02/14 职场文书
教育系统干部作风整顿心得体会
2014/09/09 职场文书
超市开店计划书
2014/09/15 职场文书
2014年班干部工作总结
2014/11/25 职场文书
高中生自我评价范文2015
2015/03/03 职场文书
农村环境卫生倡议书
2015/04/29 职场文书
人为什么会“幸灾乐祸”?
2019/08/06 职场文书
python 提取html文本的方法
2021/05/20 Python
pycharm代码删除恢复的方法
2021/06/26 Python
使用CSS实现一个搜索引擎的原理解析
2021/09/25 HTML / CSS