利用 Python 的 Pandas和 NumPy 库来清理数据


Posted in Python onApril 13, 2022

许多数据科学家认为获取和清理数据的初始步骤占工作的 80%,花费大量时间来清理数据集并将它们归结为可以使用的形式。

因此如果你是刚刚踏入这个领域或计划踏入这个领域,重要的是能够处理杂乱的数据,无论数据是否包含缺失值、不一致的格式、格式错误的记录还是无意义的异常值。

将利用 Python 的 Pandas和 NumPy 库来清理数据。

准备工作

导入模块后就开始正式的数据预处理吧。

import pandas as pd
import numpy as np

DataFrame 列的删除

通常会发现并非数据集中的所有数据类别都有用。例如可能有一个包含学生信息(姓名、年级、标准、父母姓名和地址)的数据集,但希望专注于分析学生成绩。在这种情况下地址或父母的姓名并不重要。保留这些不需要的数据将占用不必要的空间。

BL-Flickr-Images-Book.csv 数据操作。

df = pd.read_csv('数据科学必备Pandas、NumPy进行数据清洗/BL-Flickr-Images-Book.csv')
df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

可以看到这些列是对 Edition Statement, Corporate Author, Corporate Contributors, Former owner, Engraver, Issuance type and Shelfmarks 没有任何信息帮助的,因此可以进行批量删除处理。

to_drop_column = [ 'Edition Statement',
                   'Corporate Author',
                   'Corporate Contributors',
                   'Former owner',
                   'Engraver',
                   'Contributors',
                   'Issuance type',
                   'Shelfmarks']

df.drop(to_drop_column , inplace=True, axis=1)
df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

DataFrame 索引更改

Pandas 索引扩展了 NumPy 数组的功能,以允许更通用的切片和标记。 在许多情况下,使用数据的唯一值标识字段作为其索引是有帮助的。

获取唯一标识符。

df['Identifier'].is_unique
True

Identifier列替换索引列。

df = df.set_index('Identifier')
df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

206 是索引的第一个标签,可以使用 df.iloc[0] 基于位置的索引访问。

DataFrame 数据字段整理

清理特定列并将它们转换为统一格式,以更好地理解数据集并强制保持一致性。

处理 Date of Publication 出版日期 列,发现该数据列格式并不统一。

df.loc[1905:, 'Date of Publication'].head(10)

Identifier
1905           1888
1929    1839, 38-54
2836           1897
2854           1865
2956        1860-63
2957           1873
3017           1866
3131           1899
4598           1814
4884           1820
Name: Date of Publication, dtype: object

我们可以使用正则表达式的方式直接提取连续的4个数字即可。

extr = df['Date of Publication'].str.extract(r'^(\d{4})', expand=False)
extr.head()

Identifier
206    1879
216    1868
218    1869
472    1851
480    1857
Name: Date of Publication, dtype: object

最后获取数字字段列。

df['Date of Publication'] = pd.to_numeric(extr)

str 方法与 NumPy 结合清理列

df[‘Date of Publication’].str 。 此属性是一种在 Pandas 中访问快速字符串操作的方法,这些操作在很大程度上模仿了对原生 Python 字符串或编译的正则表达式的操作,例如 .split()、.replace() 和 .capitalize()。

要清理 Place of Publication 字段,我们可以将 Pandas 的 str 方法与 NumPy 的 np.where 函数结合起来,该函数基本上是 Excel 的 IF() 宏的矢量化形式。

np.where(condition, then, else)

在这里 condition 要么是一个类似数组的对象,要么是一个布尔掩码。 then 是如果条件评估为 True 时使用的值,否则是要使用的值。

本质上 .where() 获取用于条件的对象中的每个元素,检查该特定元素在条件上下文中的计算结果是否为 True,并返回一个包含 then 或 else 的 ndarray,具体取决于哪个适用。可以嵌套在复合 if-then 语句中,允许根据多个条件计算值.

处理 Place of Publication 出版地 数据。

df['Place of Publication'].head(10)

Identifier
206                                  London
216                London; Virtue & Yorston
218                                  London
472                                  London
480                                  London
481                                  London
519                                  London
667     pp. 40. G. Bryan & Co: Oxford, 1898
874                                 London]
1143                                 London
Name: Place of Publication, dtype: object

使用包含的方式提取需要的数据信息。

pub = df['Place of Publication']
london = pub.str.contains('London')
london[:5]

Identifier
206    True
216    True
218    True
472    True
480    True
Name: Place of Publication, dtype: bool

也可以使用 np.where 处理。

df['Place of Publication'] = np.where(london, 'London',
                                      pub.str.replace('-', ' ')))

Identifier
206                     London
216                     London
218                     London
472                     London
480                     London
                  ...         
4158088                 London
4158128                  Derby
4159563                 London
4159587    Newcastle upon Tyne
4160339                 London
Name: Place of Publication, Length: 8287, dtype: object

apply 函数清理整个数据集

在某些情况下,将自定义函数应用于 DataFrame 的每个单元格或元素。 Pandas.apply() 方法类似于内置的 map() 函数,只是将函数应用于 DataFrame 中的所有元素。

例如将数据的发布日期进行处理成 xxxx 年的格式,就可以使用apply。

def clean_date(text):
    try:
        return str(int(text)) + "年"
    except:
        return text

df["new_date"] = df["Date of Publication"].apply(clean_date)
df["new_date"] 

Identifier
206        1879年
216        1868年
218        1869年
472        1851年
480        1857年
           ...  
4158088    1838年
4158128    1831年
4159563      NaN
4159587    1834年
4160339    1834年
Name: new_date, Length: 8287, dtype: object

DataFrame 跳过行

olympics_df = pd.read_csv('数据科学必备Pandas、NumPy进行数据清洗/olympics.csv')
olympics_df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

可以在读取数据时候添加参数跳过某些不要的行,比如索引 0 行。

olympics_df = pd.read_csv('数据科学必备Pandas、NumPy进行数据清洗/olympics.csv',header=1)
olympics_df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

DataFrame 重命名列

new_names =  {'Unnamed: 0': 'Country',
              '? Summer': 'Summer Olympics',
               '01 !': 'Gold',
              '02 !': 'Silver',
              '03 !': 'Bronze',
              '? Winter': 'Winter Olympics',
              '01 !.1': 'Gold.1',
              '02 !.1': 'Silver.1',
              '03 !.1': 'Bronze.1',
              '? Games': '# Games',
              '01 !.2': 'Gold.2',
              '02 !.2': 'Silver.2',
              '03 !.2': 'Bronze.2'}

olympics_df.rename(columns=new_names, inplace=True)

olympics_df.head()

利用 Python 的 Pandas和 NumPy 库来清理数据

以上就是详解Python如何利用Pandas与NumPy进行数据清洗的详细内容!

Python 相关文章推荐
pip 错误unused-command-line-argument-hard-error-in-future解决办法
Jun 01 Python
使用Pyrex来扩展和加速Python程序的教程
Apr 13 Python
简单解析Django框架中的表单验证
Jul 17 Python
python使用selenium登录QQ邮箱(附带滑动解锁)
Jan 23 Python
Django框架模板的使用方法示例
May 25 Python
感知器基础原理及python实现过程详解
Sep 30 Python
Pytorch 实现权重初始化
Dec 31 Python
Python是怎样处理json模块的
Jul 16 Python
Python绘图之二维图与三维图详解
Aug 04 Python
python 实现学生信息管理系统的示例
Nov 28 Python
python 下划线的多种应用场景总结
May 12 Python
python+opencv实现目标跟踪过程
Jun 21 Python
Python matplotlib多个子图绘制整合
Python之matplotlib绘制折线图
Python之matplotlib绘制饼图
Python线程池与GIL全局锁实现抽奖小案例
Python之Matplotlib绘制热力图和面积图
Python matplotlib绘制雷达图
Python万能模板案例之matplotlib绘制甘特图
You might like
php Memcache 中实现消息队列
2009/11/24 PHP
PHP中数组的三种排序方法分享
2012/05/07 PHP
php快速查找数据库中恶意代码的方法
2015/04/01 PHP
Yii框架日志操作图文与实例详解
2019/09/09 PHP
PHP获取类私有属性的3种方法
2020/09/10 PHP
JavaScript 继承详解(一)
2009/07/13 Javascript
Javascript中的相等与不等运算
2010/04/25 Javascript
jquery的extend和fn.extend的使用说明
2011/01/09 Javascript
JavaScript高级程序设计 阅读笔记(十三) js定义类或对象
2012/08/14 Javascript
jQuery实现的原图对比窗帘效果
2014/06/15 Javascript
jquery+ajax实现注册实时验证实例详解
2015/12/08 Javascript
深入理解javascript中的 “this”
2017/01/17 Javascript
JS实现图片放大镜插件详解
2017/11/06 Javascript
elementUI多选框反选的实现代码
2019/04/03 Javascript
javascript实现点击产生随机图形
2021/01/25 Javascript
写了个监控nginx进程的Python脚本
2012/05/10 Python
python操作mysql代码总结
2018/06/01 Python
python实现对csv文件的列的内容读取
2018/07/04 Python
对python读取zip压缩文件里面的csv数据实例详解
2019/02/08 Python
分析经典Python开发工程师面试题
2019/04/08 Python
用Python中的turtle模块画图两只小羊方法
2019/04/09 Python
np.dot()函数的用法详解
2020/01/17 Python
JetBrains PyCharm(Community版本)的下载、安装和初步使用图文教程详解
2020/03/19 Python
TensorFlow保存TensorBoard图像操作
2020/06/23 Python
Sneaker Studio罗马尼亚网站:购买运动鞋
2018/11/04 全球购物
ALDO美国官网:加拿大女鞋品牌
2018/12/28 全球购物
致400米运动员广播稿
2014/02/07 职场文书
2014厂务公开实施方案
2014/02/17 职场文书
党员自我剖析材料范文
2014/10/06 职场文书
财产分割协议书范本
2014/11/03 职场文书
公司地址变更通知
2015/04/25 职场文书
体育部部长竞选稿
2015/11/21 职场文书
中国式结婚:司仪主持词(范文)
2019/07/25 职场文书
javascript数组includes、reduce的基本使用
2021/07/02 Javascript
在CSS中使用when/else的方法
2022/01/18 HTML / CSS
WebRTC记录音视频流(web技术分享)
2022/02/24 Javascript