如何将numpy二维数组中的np.nan值替换为指定的值


Posted in Python onMay 14, 2021

基础知识:

(1)np.nan表示该值不是一个数,比如数据中收入、年龄的缺失值;np.inf表示无穷大

(2)np.nan == np.nan 的结果为False

(3)nan与任何数的操作结果均为nan,例如sum((np.nan,4)) 的结果为nan

(4)一个ndarray数组t1,可以用np.isnan(t1) 定位到nan值的位置,再用t1[np.isnan(t1)] = 指定值 将nan替换为指定值

(5)np.nan_to_num(t1),可以将t1中的nan替换为0

(6)t1[ t1 == t1]可以剔除所有nan只保留非nan值

现在生成一个3*4的数组,设定第1行,第2、3列位置两个元素为np.nan

import numpy as np
t1 = np.arange(12).reshape(3,4).astype('float')
t1[1,2:] = np.nan
print(t1)

[[ 0. 1. 2. 3.]

[ 4. 5. nan nan]

[ 8. 9. 10. 11.]]

1. 问题1:

如何将t1中的nan替换为0

#方法1:
for i in range(t1.shape[1]):
    col = t1[:,i]
    col[np.isnan(col)] = 0
#方法2:调用np.nan_to_num方法
t1 = np.nan_to_num(t1)
#方法3:或用np.isnan(t1)做索引,然后替换,建议用该方法
t1[np.isnan(t1)] = 0

方法3不但可以替换为0,替换为其它值也可,建议使用。

2. 问题2:

如何将t1中的nan替换为某些计算之后的值,例如将其替换为该列所有非 nan元素的均值

将原始数据中缺失的值替换为0有时未必是合适的。例如原始数据中某些人的年龄没有填,如果替换为0,将来在计算年龄平均值或做数据分析时就存在不合理的后果。此时,将年龄缺失的的人的年龄设为均值更为合理。

(1)方法1

#方法1:
for i in range(t1.shape[1]):
    col = t1[:,i]
    #当前列中如果存在nan,由于np.nan不等于np.nan,所以如果某列中存在nan,则col!=col将会有元素为True,np.count_nonzero方法将会累计值为True的元素数量,可以通过这种方法来判断该列是否存在nan
    nan_num = np.count_nonzero(col != col)
    if nan_num:
        not_nan_col = col[col == col] #用布尔矩阵col == col做索引来筛选矩阵,布尔矩阵中False位置的元素将被剔除。
        col[np.isnan(col)] = not_nan_col.mean()
print(t1)

运行结果:

[[ 0. 1. 2. 3.]

[ 4. 5. 6. 7.]

[ 8. 9. 10. 11.]]

(2)方法2

#方法2:np.nanmean方法可以计算非nan值的均值,此外还有np.nanmax, np.nanmin方法。所以上述程序可以改写如下:
mean = np.nanmean(t1,axis=0)
print('各列的均值为:%s' %mean)
for i in range(t1.shape[1]):
    col = t1[:,i]
    col[np.isnan(col)] = mean[i]
print(t1)

运行结果同上

(3)方法3

使用功能强大的pandas库

#也可以用pandas来处理,更为简单便捷
import pandas as pd
df = pd.DataFrame(t1)
t1 = df.fillna(df.mean()).values  #values代替as_matrix(),可以将DataFrame转换为ndarray
print(t1)

运行结果同上。

补充:python 快速替换Numpy 中的Nan(空值)和inf (无限值)

在做数据处理的时候由于要保证数据的个数不变,需要把数据中的空值和无穷值替换为指定的值(此处为255),考虑到数据量比较大(50000000条数据),效率也是一个考虑因素。

下面主要给出了替换数据的核心代码

# +--+--+--+--+--+--+--+--+--+--+
print('Predict New Data......')
start = datetime.datetime.now()

dataPre = input_Data   # 此处输入需要处理的原始数据

# 0: 00:23.012951  标记了这个方法的时间(以50000000条数据为例)
dataPre0 = np.array(dataPre)
dataPre0[np.isnan(dataPre0)] = 255
dataPre0[np.isinf(dataPre0)] = 255

# 0:02:03.038840
dataPre1 = (dataPre)
dataPre1 = dataPre1.replace([np.inf, -np.inf], np.nan)
dataPre1 = dataPre1.fillna(value = 255)

# 0:02:03.140287
dataPre2 = (dataPre)
dataPre2 = (dataPre2.replace([np.inf, -np.inf], np.nan)).fillna(value = 255)    # shi yong te ding shuju tian chong

# 0:00:30.346661
dataPre3 = np.array(dataPre)
dataPre3[(dataPre3 == float('inf')) | (dataPre3 == float('-inf')) | (dataPre3 == float('nan'))] = 255

# 0:00:19.702519
dataPre4 = np.array(dataPre)
dataPre4[np.isinf(dataPre4)] = np.nan  # 将数组里面的无穷值转为空值
dataPre4[np.isnan(dataPre4)] = 255  # # 将nan值替换为255

# 0:01:10.404677
dataPre5 = np.array(dataPre)
dataPre5 = np.where(np.isnan(dataPre5), 255, dataPre5)
dataPre5 = np.where(np.isinf(dataPre5), 255, dataPre5)

可以看出几种方法的效率差别还是比较大的,尤其是使用了replace或者np.where函数的方法,比较慢。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用opencv进行人脸识别
Apr 07 Python
python读写csv文件方法详细总结
Jul 05 Python
Python利用神经网络解决非线性回归问题实例详解
Jul 19 Python
PyCharm使用之配置SSH Interpreter的方法步骤
Dec 26 Python
django的模型类管理器——数据库操作的封装详解
Apr 01 Python
python读取图像矩阵文件并转换为向量实例
Jun 18 Python
Python with语句用法原理详解
Jul 03 Python
python statsmodel的使用
Dec 21 Python
python 制作本地应用搜索工具
Feb 27 Python
pytorch Dropout过拟合的操作
May 27 Python
Pytorch中Softmax和LogSoftmax的使用详解
Jun 05 Python
Python  序列化反序列化和异常处理的问题小结
Dec 24 Python
使用numpy nonzero 找出非0元素
May 14 #Python
Python机器学习之KNN近邻算法
May 14 #Python
Python爬虫基础讲解之请求
自己搭建resnet18网络并加载torchvision自带权重的操作
May 13 #Python
如何使用flask将模型部署为服务
May 13 #Python
教你用python控制安卓手机
Python数据分析入门之数据读取与存储
May 13 #Python
You might like
地球防卫队:陪着奥特曼打小怪兽的人类力量 那些经典队服
2020/03/08 日漫
PHP出错界面
2006/10/09 PHP
php自动跳转中英文页面
2008/07/29 PHP
Yii2中简单的场景使用介绍
2017/06/02 PHP
字符串的replace方法应用浅析
2011/12/06 Javascript
getElementByIdx_x js自定义getElementById函数
2012/01/24 Javascript
jQuery之$(document).ready()使用介绍
2012/04/05 Javascript
javascript生成随机数的方法
2014/05/16 Javascript
javascript实现在某个元素上阻止鼠标右键事件的方法和实例
2014/08/12 Javascript
javascript实现网页端解压并查看zip文件
2015/12/15 Javascript
浅析AngularJS Filter用法
2015/12/28 Javascript
老生常谈onBlur事件与onfocus事件(js)
2016/07/09 Javascript
js鼠标跟随运动效果
2017/03/11 Javascript
Vuex和前端缓存的整合策略详解
2017/05/09 Javascript
微信小程序WebSocket实现聊天对话功能
2018/07/06 Javascript
vue-cli项目修改文件热重载失效的解决方法
2018/09/19 Javascript
Python help()函数用法详解
2014/03/11 Python
python对数组进行反转的方法
2015/05/20 Python
在Django中进行用户注册和邮箱验证的方法
2016/05/09 Python
Python对多属性的重复数据去重实例
2018/04/18 Python
对python中的try、except、finally 执行顺序详解
2019/02/18 Python
分享PyCharm的几个使用技巧
2019/11/10 Python
Django框架静态文件处理、中间件、上传文件操作实例详解
2020/02/29 Python
tensorflow安装成功import tensorflow 出现问题
2020/04/16 Python
tensorflow2.0的函数签名与图结构(推荐)
2020/04/28 Python
用python爬虫批量下载pdf的实现
2020/12/01 Python
美国汽车交易网站:Edmunds
2016/08/17 全球购物
英国领先的运动营养品牌:Protein Dynamix
2018/01/02 全球购物
GAZMAN官网:澳大利亚领先的男装品牌
2019/12/19 全球购物
天游软件面试
2013/11/23 面试题
个人四风对照检查材料
2014/09/26 职场文书
先进教师个人总结
2015/02/11 职场文书
2016年春季运动会广播稿
2015/08/19 职场文书
新手开公司创业注意事项有哪些?
2019/07/29 职场文书
Golang 遍历二叉树
2022/04/19 Golang
Java Spring读取和存储详细操作
2022/08/05 Java/Android