利用 Python 的 Pandas和 NumPy 库来清理数据


Posted in Python onApril 13, 2022

许多数据科学家认为获取和清理数据的初始步骤占工作的 80%,花费大量时间来清理数据集并将它们归结为可以使用的形式。

因此如果你是刚刚踏入这个领域或计划踏入这个领域,重要的是能够处理杂乱的数据,无论数据是否包含缺失值、不一致的格式、格式错误的记录还是无意义的异常值。

将利用 Python 的 Pandas和 NumPy 库来清理数据。

准备工作

导入模块后就开始正式的数据预处理吧。

import pandas as pd
import numpy as np

DataFrame 列的删除

通常会发现并非数据集中的所有数据类别都有用。例如可能有一个包含学生信息(姓名、年级、标准、父母姓名和地址)的数据集,但希望专注于分析学生成绩。在这种情况下地址或父母的姓名并不重要。保留这些不需要的数据将占用不必要的空间。

BL-Flickr-Images-Book.csv 数据操作。

df = pd.read_csv('数据科学必备Pandas、NumPy进行数据清洗/BL-Flickr-Images-Book.csv')
df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

可以看到这些列是对 Edition Statement, Corporate Author, Corporate Contributors, Former owner, Engraver, Issuance type and Shelfmarks 没有任何信息帮助的,因此可以进行批量删除处理。

to_drop_column = [ 'Edition Statement',
                   'Corporate Author',
                   'Corporate Contributors',
                   'Former owner',
                   'Engraver',
                   'Contributors',
                   'Issuance type',
                   'Shelfmarks']

df.drop(to_drop_column , inplace=True, axis=1)
df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

DataFrame 索引更改

Pandas 索引扩展了 NumPy 数组的功能,以允许更通用的切片和标记。 在许多情况下,使用数据的唯一值标识字段作为其索引是有帮助的。

获取唯一标识符。

df['Identifier'].is_unique
True

Identifier列替换索引列。

df = df.set_index('Identifier')
df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

206 是索引的第一个标签,可以使用 df.iloc[0] 基于位置的索引访问。

DataFrame 数据字段整理

清理特定列并将它们转换为统一格式,以更好地理解数据集并强制保持一致性。

处理 Date of Publication 出版日期 列,发现该数据列格式并不统一。

df.loc[1905:, 'Date of Publication'].head(10)

Identifier
1905           1888
1929    1839, 38-54
2836           1897
2854           1865
2956        1860-63
2957           1873
3017           1866
3131           1899
4598           1814
4884           1820
Name: Date of Publication, dtype: object

我们可以使用正则表达式的方式直接提取连续的4个数字即可。

extr = df['Date of Publication'].str.extract(r'^(\d{4})', expand=False)
extr.head()

Identifier
206    1879
216    1868
218    1869
472    1851
480    1857
Name: Date of Publication, dtype: object

最后获取数字字段列。

df['Date of Publication'] = pd.to_numeric(extr)

str 方法与 NumPy 结合清理列

df[‘Date of Publication’].str 。 此属性是一种在 Pandas 中访问快速字符串操作的方法,这些操作在很大程度上模仿了对原生 Python 字符串或编译的正则表达式的操作,例如 .split()、.replace() 和 .capitalize()。

要清理 Place of Publication 字段,我们可以将 Pandas 的 str 方法与 NumPy 的 np.where 函数结合起来,该函数基本上是 Excel 的 IF() 宏的矢量化形式。

np.where(condition, then, else)

在这里 condition 要么是一个类似数组的对象,要么是一个布尔掩码。 then 是如果条件评估为 True 时使用的值,否则是要使用的值。

本质上 .where() 获取用于条件的对象中的每个元素,检查该特定元素在条件上下文中的计算结果是否为 True,并返回一个包含 then 或 else 的 ndarray,具体取决于哪个适用。可以嵌套在复合 if-then 语句中,允许根据多个条件计算值.

处理 Place of Publication 出版地 数据。

df['Place of Publication'].head(10)

Identifier
206                                  London
216                London; Virtue & Yorston
218                                  London
472                                  London
480                                  London
481                                  London
519                                  London
667     pp. 40. G. Bryan & Co: Oxford, 1898
874                                 London]
1143                                 London
Name: Place of Publication, dtype: object

使用包含的方式提取需要的数据信息。

pub = df['Place of Publication']
london = pub.str.contains('London')
london[:5]

Identifier
206    True
216    True
218    True
472    True
480    True
Name: Place of Publication, dtype: bool

也可以使用 np.where 处理。

df['Place of Publication'] = np.where(london, 'London',
                                      pub.str.replace('-', ' ')))

Identifier
206                     London
216                     London
218                     London
472                     London
480                     London
                  ...         
4158088                 London
4158128                  Derby
4159563                 London
4159587    Newcastle upon Tyne
4160339                 London
Name: Place of Publication, Length: 8287, dtype: object

apply 函数清理整个数据集

在某些情况下,将自定义函数应用于 DataFrame 的每个单元格或元素。 Pandas.apply() 方法类似于内置的 map() 函数,只是将函数应用于 DataFrame 中的所有元素。

例如将数据的发布日期进行处理成 xxxx 年的格式,就可以使用apply。

def clean_date(text):
    try:
        return str(int(text)) + "年"
    except:
        return text

df["new_date"] = df["Date of Publication"].apply(clean_date)
df["new_date"] 

Identifier
206        1879年
216        1868年
218        1869年
472        1851年
480        1857年
           ...  
4158088    1838年
4158128    1831年
4159563      NaN
4159587    1834年
4160339    1834年
Name: new_date, Length: 8287, dtype: object

DataFrame 跳过行

olympics_df = pd.read_csv('数据科学必备Pandas、NumPy进行数据清洗/olympics.csv')
olympics_df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

可以在读取数据时候添加参数跳过某些不要的行,比如索引 0 行。

olympics_df = pd.read_csv('数据科学必备Pandas、NumPy进行数据清洗/olympics.csv',header=1)
olympics_df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

DataFrame 重命名列

new_names =  {'Unnamed: 0': 'Country',
              '? Summer': 'Summer Olympics',
               '01 !': 'Gold',
              '02 !': 'Silver',
              '03 !': 'Bronze',
              '? Winter': 'Winter Olympics',
              '01 !.1': 'Gold.1',
              '02 !.1': 'Silver.1',
              '03 !.1': 'Bronze.1',
              '? Games': '# Games',
              '01 !.2': 'Gold.2',
              '02 !.2': 'Silver.2',
              '03 !.2': 'Bronze.2'}

olympics_df.rename(columns=new_names, inplace=True)

olympics_df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

以上就是详解Python如何利用Pandas与NumPy进行数据清洗的详细内容!

Python 相关文章推荐
讲解Python中的标识运算符
May 14 Python
Python列出一个文件夹及其子目录的所有文件
Jun 30 Python
python matplotlib 注释文本箭头简单代码示例
Jan 08 Python
Python+matplotlib实现华丽的文本框演示代码
Jan 22 Python
python批量替换多文件字符串问题详解
Apr 22 Python
Python并行分布式框架Celery详解
Oct 15 Python
Python openpyxl 遍历所有sheet 查找特定字符串的方法
Dec 10 Python
Python 中Django安装和使用教程详解
Jul 03 Python
Django中在xadmin中集成DjangoUeditor过程详解
Jul 24 Python
基于Python实现大文件分割和命名脚本过程解析
Sep 29 Python
python代码能做成软件吗
Jul 24 Python
用Python爬取各大高校并可视化帮弟弟选大学,弟弟直呼牛X
Jun 11 Python
Python matplotlib多个子图绘制整合
Python之matplotlib绘制折线图
Python之matplotlib绘制饼图
Python线程池与GIL全局锁实现抽奖小案例
Python之Matplotlib绘制热力图和面积图
Python matplotlib绘制雷达图
Python万能模板案例之matplotlib绘制甘特图
You might like
星际争霸教主Flash的ID由来:你永远不会知道他之前的ID是www!
2019/01/18 星际争霸
PHP5/ZendEngine2的改进
2006/10/09 PHP
php建立Ftp连接的方法
2015/03/07 PHP
PHP+ajax分页实例简析
2015/12/07 PHP
php探针使用原理和技巧讲解
2019/09/17 PHP
IE8 浏览器Cookie的处理
2009/01/31 Javascript
在JavaScript中监听IME键盘输入事件
2011/05/29 Javascript
用jQuery模拟页面加载进度条的实现代码
2011/12/19 Javascript
(跨浏览器基础事件/浏览器检测/判断浏览器)经验代码分享
2013/01/24 Javascript
基于JavaScript实现文字超出部分隐藏
2016/02/29 Javascript
EXT中单击button按钮grid添加一行(光标位置可设置)的实例代码
2016/06/02 Javascript
node.js实现登录注册页面
2017/04/08 Javascript
源码分析Vue.js的监听实现教程
2017/04/23 Javascript
React-Native中禁用Navigator手势返回的示例代码
2017/09/09 Javascript
vue生成token保存在客户端localStorage中的方法
2017/10/25 Javascript
js异步上传多张图片插件的使用方法
2018/10/22 Javascript
详解vue v-model
2020/08/31 Javascript
通过vue.extend实现消息提示弹框的方法记录
2021/01/07 Vue.js
[39:11]DOTA2上海特级锦标赛C组资格赛#2 LGD VS Newbee第二局
2016/02/28 DOTA
探究Python的Tornado框架对子域名和泛域名的支持
2015/05/02 Python
VSCode下配置python调试运行环境的方法
2018/04/06 Python
详解Python 数据库的Connection、Cursor两大对象
2018/06/25 Python
python scatter散点图用循环分类法加图例
2019/03/19 Python
Python 实现OpenCV格式和PIL.Image格式互转
2020/01/09 Python
canvas基础之图形验证码的示例
2018/01/02 HTML / CSS
StubHub巴西:购买和出售您的门票
2016/07/22 全球购物
美国现代家具网站:Design Within Reach
2018/07/19 全球购物
大学生个人简历自我评价
2013/11/16 职场文书
最受欢迎的自我评价
2013/12/22 职场文书
构建高效课堂实施方案
2014/03/13 职场文书
公司员工活动策划方案
2014/08/20 职场文书
助残日活动总结
2014/08/27 职场文书
2014党的群众路线教育实践活动总结报告
2014/10/31 职场文书
2014年环保局工作总结
2014/12/11 职场文书
导游词之崇武古城
2019/10/07 职场文书
雄兵连:第三季先行图公开,天使恶魔联合,银河之力的新力量
2021/06/11 国漫