使用pandas模块实现数据的标准化操作


Posted in Python onMay 14, 2021

如下所示:

3σ 原则 (u-3*σ ,u+3*σ )
离差标准化 (x-min)/(max-min)
标准差标准化 (x-u)/σ
小数定标标准化

x/10**k

k=np.ceil(log10(max(|x|)))

1.3σ原则

u 均值

σ 标准差

正太分布的数据基本都分布在(u-3σ,u+3σ)范围内

其他的数据

import pandas as pd
import numpy as np
def three_sigma(se):
    """
    自实现3σ原则,进行数据过滤
    :param se:传进来的series结构数据
    :return:去除异常值之后的series数据
    """
    bool_id=((se.mean()-3*se.std())<se) & (se<(se.mean()+3*se.std()))
    print(bool_id)
    return se[bool_id]
 
#加载数据
detail=pd.read_excel('./meal_order_detail.xlsx')
#进行异常值处理
res=three_sigma(detail['amounts'])
print(detail.shape)
print(res.shape)

2.离差标准化

(x-min)/(max-min)
import pandas as pd
import numpy as np
 
def minmax_sca(data):
    """
    离差标准化
    param data:传入的数据
    return:标准化之后的数据
    """
    new_data=(data-data.min())/(data.max()-data.min())
    return new_data
 
#加载数据
detail=pd.read_excel('./meal_order_detail.xlsx')
res=minmax_sca(detail[['amounts','counts']])
print(res)
data=res
bool_id=data.loc[:,'count']==1
print(data.loc[bool_id],'counts')

3.标准差标准化

(x-u)/σ

异常值对标准差标准化的影响不大

转化之后的数据--->均值0 标准差1

import pandas as pd
import numpy as np
def stand_sca(data):
    """
    标准差标准化
    :param data:传入的数据
    :return:标准化之后的数据
    """
    new_data=(data-data.mean())/data.std()
    return new_data
 
#加载数据
detail=pd.read_excel('./meal_order_detail.xlsx')
res=stand_sca(detail[['amounts','counts']])
print(res)
print('res的均值:',res.mean())
print('res的标准差:',res.std())

4.小数定标标准化

x/(10^k)
k=math.ceil(log10(max(|x|)))

以10为底,x的绝对值的最大值的对数 最后进行向上取整

import pandas as pd
import numpy as np
def deci_sca(data):
    """
    自实现小数定标标准化
    :param data: 传入的数据
    :return: 标准化之后的数据
    """
    new_data=data/(10**(np.ceil(np.log10(data.abs().max()))))
    return new_data
#加载数据
detail = pd.read_excel('./meal_order_detail.xlsx')
res = deci_sca(detail[['amounts', 'counts']])
print(res)

补充:pandas数据处理基础之标准化与标签数值化

fit(): Method calculates the parameters μ and σ and saves them as internal objects.

解释:简单来说,就是求得训练集X的均值,方差,最大值,最小值,这些训练集X固有的属性。

transform(): Method using these calculated parameters apply the transformation to a particular dataset.

解释:在fit的基础上,进行标准化,降维,归一化等操作(看具体用的是哪个工具,如PCA,StandardScaler等)。

fit_transform(): joins the fit() and transform() method for transformation of dataset.

解释:fit_transform是fit和transform的组合,既包括了训练又包含了转换。 transform()和fit_transform()二者的功能都是对数据进行某种统一处理(比如标准化~N(0,1),将数据缩放(映射)到某个固定区间,归一化,正则化等)

fit_transform(trainData)对部分数据先拟合fit,找到该part的整体指标,如均值、方差、最大值最小值等等(根据具体转换的目的),然后对该trainData进行转换transform,从而实现数据的标准化、归一化等等。

Note:

必须先用fit_transform(trainData),之后再transform(testData)

如果直接transform(testData),程序会报错

如果fit_transfrom(trainData)后,使用fit_transform(testData)而不transform(testData),虽然也能归一化,但是两个结果不是在同一个“标准”下的,具有明显差异。(一定要避免这种情况)

注意:StandardScaler().fit_transform(x,fit_params),fit_params决定标准化的标签数据,就是每个标准化的标杆数据,此参数不同,则每次标准化的过程则不同。

from sklearn import preprocessing
# 获取数据
cols = ['OverallQual','GrLivArea', 'GarageCars','TotalBsmtSF', 'FullBath', 'TotRmsAbvGrd', 'YearBuilt'] ##选取列
x = data_train[cols].values
y = data_train['SalePrice'].values  
x_scaled = preprocessing.StandardScaler().fit_transform(x) ##进行归一化
y_scaled = preprocessing.StandardScaler().fit_transform(y.reshape(-1,1))##先将y转换成一列,再进行归一

还有以下形式,和上面的标准化原理一致,都是先fit,再transform。

由ss决定标准化进程的独特性

# 先将数据标准化
from sklearn.preprocessing import StandardScaler
ss = StandardScaler() ##
#用测试集训练并标准化
ss.fit(missing_age_X_train)##首先fit
missing_age_X_train = ss.transform(missing_age_X_train) #进行transform
missing_age_X_test = ss.transform(missing_age_X_test)

标签数值化

1.当某列数据不是数值型数据时,将难以标准化,此时要将数据转化成数据型形式。

数据处理前数据显示:

使用pandas模块实现数据的标准化操作

经过标签化数据处理

from sklearn import preprocessing
f_names = ['CentralAir', 'Neighborhood'] ##需要处理的数据标签 
for x in f_names:
    label = preprocessing.LabelEncoder()
    data_train[x] = label.fit_transform(data_train[x]) ##数据标准化

处理之后变成:

使用pandas模块实现数据的标准化操作

2.当某列有对应的标签值时,即某个量对应相应确定的标签时,例如oldtown就对应1,sawyer就对应2,分类的str转换为序列类这时使用如下:

数据处理之前

使用pandas模块实现数据的标准化操作

利用转换:

title_mapping = {"Mr": 1, "Miss": 2, "Mrs": 3, "Master": 4, "Rare": 5}#将标签对应数值
train_df['Title'] = train_df['Title'].map(title_mapping)#处理数据
train_df['Title'] = train_df['Title'].fillna(0)##将其余标签填充为0值

处理过后:

使用pandas模块实现数据的标准化操作

3.多个数据标签需要分列采用one_hot形式时,处理之前

使用pandas模块实现数据的标准化操作

处理之后

train_test.loc[train_test["Age"].isnull() ,"age_nan"] = 1 ##将标签转换成1
train_test.loc[train_test["Age"].notnull() ,"age_nan"] = 0##将此标签成为0
train_test = pd.get_dummies(train_test,columns=['age_nan']) ##columns决定哪几行分列处理,prefix参数是每列前缀

使用pandas模块实现数据的标准化操作

one_hot 形式转变成功。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python strip lstrip rstrip使用方法
Sep 06 Python
Python中urllib2模块的8个使用细节分享
Jan 01 Python
使用Python构建Hopfield网络的教程
Apr 14 Python
深入解析Python编程中super关键字的用法
Jun 24 Python
Python 3实战爬虫之爬取京东图书的图片详解
Oct 09 Python
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
Jun 06 Python
利用Python实现微信找房机器人实例教程
Mar 10 Python
Python计算信息熵实例
Jun 18 Python
Python自动化测试中yaml文件读取操作
Aug 20 Python
如何使用Python实现一个简易的ORM模型
May 12 Python
OpenCV3.3+Python3.6实现图片高斯模糊
May 18 Python
Pandas-DataFrame知识点汇总
Mar 16 Python
pandas 实现将NaN转换为None
May 14 #Python
Pandas||过滤缺失数据||pd.dropna()函数的用法说明
Python爬虫:从m3u8文件里提取小视频的正确操作
MATLAB 全景图切割及盒图显示的实现步骤
使用pandas或numpy处理数据中的空值(np.isnan()/pd.isnull())
May 14 #Python
PyQt5爬取12306车票信息程序的实现
python flask框架快速入门
You might like
PHP使用Pthread实现的多线程操作实例
2015/11/14 PHP
PHP实现可精确验证身份证号码的工具类示例
2018/05/31 PHP
js之WEB开发调试利器:Firebug 下载
2007/01/13 Javascript
发一个自己用JS写的实用看图工具实现代码
2008/07/26 Javascript
JQery jstree 大数据量问题解决方法
2010/03/09 Javascript
js兼容的placeholder属性详解
2013/08/18 Javascript
js弹窗返回值详解(window.open方式)
2014/01/11 Javascript
Javascript 浮点运算精度问题分析与解决
2014/03/26 Javascript
js面向对象之静态方法和静态属性实例分析
2015/01/10 Javascript
jQuery中clone()方法用法实例
2015/01/16 Javascript
javascript记住用户名和登录密码(两种方式)
2015/08/04 Javascript
完美解决jQuery的hover事件在IE中不停闪动的问题
2017/02/10 Javascript
JS switch判断 三目运算 while 及 属性操作代码
2017/09/03 Javascript
webpack external模块的具体使用
2018/03/10 Javascript
JS 实现获取验证码 倒计时功能
2018/10/29 Javascript
js实现可爱的气泡特效
2020/09/05 Javascript
vue+iview分页组件的封装
2020/11/17 Vue.js
[01:18]DOTA2超级联赛专访hanci ForLove淘汰感言曝光
2013/06/04 DOTA
Python中的装饰器用法详解
2015/01/14 Python
Python中的多行注释文档编写风格汇总
2016/06/16 Python
【Python】Python的urllib模块、urllib2模块批量进行网页下载文件
2016/11/19 Python
python实现逻辑回归的方法示例
2017/05/02 Python
利用python批量给云主机配置安全组的方法教程
2017/06/21 Python
selenium+python设置爬虫代理IP的方法
2018/11/29 Python
Python告诉你木马程序的键盘记录原理
2019/02/02 Python
python进行二次方程式计算的实例讲解
2020/12/06 Python
css3制作彩色边线3d立体按钮的示例(css3按钮)
2014/05/06 HTML / CSS
荷兰网上鞋店:Ziengs.nl
2017/01/02 全球购物
匡威比利时官网:Converse Belgium
2017/04/13 全球购物
初始化了一个没有run()方法的线程类,是否会出错?
2014/03/27 面试题
争做文明公民倡议书
2014/08/29 职场文书
学习退步检讨书
2014/09/28 职场文书
企业整改报告范文
2014/11/08 职场文书
2015年幼师个人工作总结
2015/10/15 职场文书
Python实现随机生成迷宫并自动寻路
2021/06/13 Python
Tomcat 与 maven 的安装与使用教程
2022/06/16 Servers