Python Pandas对缺失值的处理方法


Posted in Python onSeptember 27, 2019

Pandas使用这些函数处理缺失值:

  • isnull和notnull:检测是否是空值,可用于df和series
  • dropna:丢弃、删除缺失值
    • axis : 删除行还是列,{0 or ‘index', 1 or ‘columns'}, default 0
    • how : 如果等于any则任何值为空都删除,如果等于all则所有值都为空才删除
    • inplace : 如果为True则修改当前df,否则返回新的df
  • fillna:填充空值
    • value:用于填充的值,可以是单个值,或者字典(key是列名,value是值)
    • method : 等于ffill使用前一个不为空的值填充forword fill;等于bfill使用后一个不为空的值填充backword fill
    • axis : 按行还是列填充,{0 or ‘index', 1 or ‘columns'}
    • inplace : 如果为True则修改当前df,否则返回新的df
import pandas as pd

实例:特殊Excel的读取、清洗、处理

步骤1:读取excel的时候,忽略前几个空行

studf = pd.read_excel("./datas/student_excel/student_excel.xlsx", skiprows=2)
studf

Unnamed: 0 姓名 科目 分数
0 NaN 小明 语文 85.0
1 NaN NaN 数学 80.0
2 NaN NaN 英语 90.0
3 NaN NaN NaN NaN
4 NaN 小王 语文 85.0
5 NaN NaN 数学 NaN
6 NaN NaN 英语 90.0
7 NaN NaN NaN NaN
8 NaN 小刚 语文 85.0
9 NaN NaN 数学 80.0
10 NaN NaN 英语 90.0

步骤2:检测空值

studf.isnull()

Unnamed: 0 姓名 科目 分数
0 True False False False
1 True True False False
2 True True False False
3 True True True True
4 True False False False
5 True True False True
6 True True False False
7 True True True True
8 True False False False
9 True True False False
10 True True False False
studf["分数"].isnull()
0 False
1 False
2 False
3 True
4 False
5 True
6 False
7 True
8 False
9 False
10 False
Name: 分数, dtype: bool
studf["分数"].notnull()
0 True
1 True
2 True
3 False
4 True
5 False
6 True
7 False
8 True
9 True
10 True
Name: 分数, dtype: bool
# 筛选没有空分数的所有行
studf.loc[studf["分数"].notnull(), :]

Unnamed: 0 姓名 科目 分数
0 NaN 小明 语文 85.0
1 NaN NaN 数学 80.0
2 NaN NaN 英语 90.0
4 NaN 小王 语文 85.0
6 NaN NaN 英语 90.0
8 NaN 小刚 语文 85.0
9 NaN NaN 数学 80.0
10 NaN NaN 英语 90.0

步骤3:删除掉全是空值的列

studf.dropna(axis="columns", how='all', inplace=True)
studf

姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
3 NaN NaN NaN
4 小王 语文 85.0
5 NaN 数学 NaN
6 NaN 英语 90.0
7 NaN NaN NaN
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0

步骤4:删除掉全是空值的行

studf.dropna(axis="index", how='all', inplace=True)
studf

姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
4 小王 语文 85.0
5 NaN 数学 NaN
6 NaN 英语 90.0
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0

步骤5:将分数列为空的填充为0分

studf.fillna({"分数":0})

姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
4 小王 语文 85.0
5 NaN 数学 0.0
6 NaN 英语 90.0
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0
# 等同于
studf.loc[:, '分数'] = studf['分数'].fillna(0)
studf

姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
4 小王 语文 85.0
5 NaN 数学 0.0
6 NaN 英语 90.0
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0

步骤6:将姓名的缺失值填充

使用前面的有效值填充,用ffill:forward fill

studf.loc[:, '姓名'] = studf['姓名'].fillna(method="ffill")
studf

姓名 科目 分数
0 小明 语文 85.0
1 小明 数学 80.0
2 小明 英语 90.0
4 小王 语文 85.0
5 小王 数学 0.0
6 小王 英语 90.0
8 小刚 语文 85.0
9 小刚 数学 80.0
10 小刚 英语 90.0

步骤7:将清洗好的excel保存

studf.to_excel("./datas/student_excel/student_excel_clean.xlsx", index=False)

总结

以上就是我在处理客户端真实IP的方法,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
让python的Cookie.py模块支持冒号做key的方法
Dec 28 Python
Python操作Mysql实例代码教程在线版(查询手册)
Feb 18 Python
使用python装饰器验证配置文件示例
Feb 24 Python
python装饰器与递归算法详解
Feb 18 Python
Python入门_浅谈字符串的分片与索引、字符串的方法
May 16 Python
详解Python列表赋值复制深拷贝及5种浅拷贝
May 15 Python
Django  ORM 练习题及答案
Jul 19 Python
处理Selenium3+python3定位鼠标悬停才显示的元素
Jul 31 Python
Python实现的微信红包提醒功能示例
Aug 22 Python
python 类的继承 实例方法.静态方法.类方法的代码解析
Aug 23 Python
Django多数据库配置及逆向生成model教程
Mar 28 Python
Python 实现绘制子图及子图刻度的变换等问题
May 31 Python
Python 可变类型和不可变类型及引用过程解析
Sep 27 #Python
Python操作qml对象过程详解
Sep 26 #Python
python 字典的打印实现
Sep 26 #Python
手把手教你pycharm专业版安装破解教程(linux版)
Sep 26 #Python
QML使用Python的函数过程解析
Sep 26 #Python
python 怎样将dataframe中的字符串日期转化为日期的方法
Sep 26 #Python
python3多线程知识点总结
Sep 26 #Python
You might like
JAVA/JSP学习系列之二
2006/10/09 PHP
php和数据库结合的一个简单的web实例 代码分析 (php初学者)
2011/07/28 PHP
php UBB 解析实现代码
2011/11/27 PHP
php判断一个数组是否为有序的方法
2015/03/27 PHP
php实现登录tplink WR882N获取IP和重启的方法
2016/07/20 PHP
js同时按下两个方向键
2007/12/01 Javascript
jquery form表单提交插件asp.net后台中文解码
2010/06/12 Javascript
载入jQuery库的最佳方法详细说明及实现代码
2012/12/28 Javascript
Javascript页面添加到收藏夹的简单方法
2013/08/07 Javascript
JS获取URL中参数值(QueryString)的4种方法分享
2014/04/12 Javascript
详解JavaScript中数组的reduce方法
2016/12/02 Javascript
jQuery实现圣诞节礼物传送(花式轮播)
2016/12/25 Javascript
详解如何给React-Router添加路由页面切换时的过渡动画
2019/04/25 Javascript
[02:13] 完美世界DOTA2联赛PWL DAY5集锦
2020/11/03 DOTA
在Python的Flask框架中验证注册用户的Email的方法
2015/09/02 Python
Python网络编程详解
2017/10/31 Python
Python lambda表达式用法实例分析
2018/12/25 Python
Python模块、包(Package)概念与用法分析
2019/05/31 Python
解决matplotlib.pyplot在Jupyter notebook中不显示图像问题
2020/04/22 Python
python如何保存文本文件
2020/06/07 Python
Python常驻任务实现接收外界参数代码解析
2020/07/21 Python
利用pipenv和pyenv管理多个相互独立的Python虚拟开发环境
2020/11/01 Python
如何在vscode中安装python库的方法步骤
2021/01/06 Python
HTML5录音实践总结(Preact)
2020/05/07 HTML / CSS
英国男士时尚购物网站:Stuarts London
2017/10/22 全球购物
医学院学生的自我评价分享
2013/11/19 职场文书
学生党员思想汇报
2013/12/28 职场文书
园林资料员岗位职责
2013/12/30 职场文书
光盘行动倡议书
2014/02/02 职场文书
土地转让协议书
2014/04/15 职场文书
中学生学雷锋演讲稿
2014/04/26 职场文书
小学优秀班集体申报材料
2014/05/25 职场文书
党员教师批评与自我批评发言稿
2014/10/15 职场文书
2014年居委会工作总结
2014/12/09 职场文书
golang中的并发和并行
2021/05/08 Golang
Mysql中 unique列插入重复值该怎么解决呢
2021/05/26 MySQL