利用Python进行异常值分析实例代码


Posted in Python onDecember 07, 2017

前言

异常值是指样本中的个别值,也称为离群点,其数值明显偏离其余的观测值。常用检测方法3σ原则和箱型图。其中,3σ原则只适用服从正态分布的数据。在3σ原则下,异常值被定义为观察值和平均值的偏差超过3倍标准差的值。P(|x−μ|>3σ)≤0.003,在正太分布假设下,大于3σ的值出现的概率小于0.003,属于小概率事件,故可认定其为异常值。

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的,不加剔除地把异常值包括进数据的计算分析过程中,对结果会产生不良影响;重视异常值的出现,分析其产生的原因,常常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值,其数值明显偏离其余的观测值。异常值也称为离群点,异常值的分析也称为离群点分析。

(1)简单统计量分析

可以先对变量做一个描述性统计,进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值,用来判断这个变量的取值是否超出了合理的范围。如客户年龄的最大值为199岁,则该变量的取值存在异常。

(2)3原则

如果数据服从正态分布,在3原则下,异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下,距离平均值3之外的值出现的概率为P(|x-|>3)≤0.003,属于极个别的小概率事件。

如果数据不服从正态分布,也可以用远离平均值的多少倍标准差来描述。

(3)箱型图分析

箱型图提供了识别异常值的一个标准:异常值通常被定义为小于QL-1.5IQR或大于QU+1.5IQR的值。QL称为下四分位数,表示全部观察值中有四分之一的数据取值比它小;QU称为上四分位数,表示全部观察值中有四分之一的数据取值比它大;IQR称为四分位数间距,是上四分位数QU与下四分位数QL之差,其间包含了全部观察值的一半。

箱型图依据实际数据绘制,没有对数据作任何限制性要求(如服从某种特定的分布形式),它只是真实直观地表现数据分布的本来面貌;另一方面,箱型图判断异常值的标准以四分位数和四分位距为基础,四分位数具有一定的鲁棒性:多达25%的数据可以变得任意远而不会很大地扰动四分位数,所以异常值不能对这个标准施加影响。由此可见,箱型图识别异常值的结果比较客观,在识别异常值方面有一定的优越性,如图3-1所示。

利用Python进行异常值分析实例代码

如下数据:

日期 2015/2/10 2015/2/11 2015/2/12 2015/2/13 2015/2/14

销量额 2742.8 3014.3 865 3036.8

我们对其进行异常值分析

import pandas as pd

catering_sale = 'data2.xls' #餐饮数据
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据,指定“日期”列为索引列

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure() #建立图像
p = data.boxplot() #画箱线图,直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort() #从小到大排序,该方法直接改变原对象

#用annotate添加注释
#其中有些相近的点,注解会出现重叠,难以看清,需要一些技巧来控制。
#以下参数都是经过调试的,需要具体问题具体调试。
for i in range(len(x)): 
 if i>0:
 plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
 else:
 plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show()

结果如下:

利用Python进行异常值分析实例代码

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python深入学习之对象的属性
Aug 31 Python
浅谈Python处理PDF的方法
Nov 10 Python
Python进阶学习之特殊方法实例详析
Dec 01 Python
Python2/3中urllib库的一些常见用法
Dec 19 Python
将字典转换为DataFrame并进行频次统计的方法
Apr 08 Python
python操作excel文件并输出txt文件的实例
Jul 10 Python
tensorflow之tf.record实现存浮点数数组
Feb 17 Python
pytorch torchvision.ImageFolder的用法介绍
Feb 20 Python
使用Python和百度语音识别生成视频字幕的实现
Apr 09 Python
python程序输出无内容的解决方式
Apr 09 Python
Python接口自动化测试框架运行原理及流程
Nov 30 Python
python热力图实现简单方法
Jan 29 Python
Python3解决棋盘覆盖问题的方法示例
Dec 07 #Python
python实现对excel进行数据剔除操作实例
Dec 07 #Python
Python编程实现使用线性回归预测数据
Dec 07 #Python
机器学习10大经典算法详解
Dec 07 #Python
机器学习的框架偏向于Python的13个原因
Dec 07 #Python
python编程线性回归代码示例
Dec 07 #Python
基于Django的ModelForm组件(详解)
Dec 07 #Python
You might like
解析mysql left( right ) join使用on与where筛选的差异
2013/06/18 PHP
win7计划任务定时执行PHP脚本设置图解
2014/05/09 PHP
php实现在服务器端调整图片大小的方法
2015/06/16 PHP
PHP堆栈调试操作简单示例
2018/06/15 PHP
PHP日志LOG类定义与用法示例
2018/09/06 PHP
使用laravel指定日志文件记录任意日志
2019/10/17 PHP
Prototype Hash对象 学习
2009/07/19 Javascript
jsTree 基于JQuery的排序节点 Bug
2011/07/26 Javascript
JavaScript开发人员的10个关键习惯小结
2014/12/05 Javascript
js闭包所用的场合以及优缺点分析
2015/06/22 Javascript
JS实现自动切换文字的导航效果代码
2015/08/27 Javascript
jQuery购物车插件jsorder用法(支持后台处理程序直接转换成DataTable处理)
2016/06/08 Javascript
Bootstrap登陆注册页面开发教程
2016/07/12 Javascript
vuex实现简易计数器
2016/10/27 Javascript
实例学习JavaScript读取和写入cookie
2018/01/29 Javascript
详解vue-cli 本地开发mock数据使用方法
2018/05/29 Javascript
springMvc 前端用json的方式向后台传递对象数组方法
2018/08/07 Javascript
vue全局自定义指令-元素拖拽的实现代码
2019/04/14 Javascript
JavaScript实现的滚动公告特效【基于jQuery】
2019/07/10 jQuery
[01:15:36]加油刀塔第二期网络版
2014/08/09 DOTA
[03:06]2018年度CS GO最具人气解说-完美盛典
2018/12/16 DOTA
基于python进行桶排序与基数排序的总结
2018/05/29 Python
tensorflow实现简单逻辑回归
2018/09/07 Python
python读取各种文件数据方法解析
2018/12/29 Python
Python操作rabbitMQ的示例代码
2019/03/19 Python
Python面向对象总结及类与正则表达式详解
2019/04/18 Python
html5 外链式实现加减乘除的代码
2019/09/04 HTML / CSS
Bose法国官网:购买耳机、扬声器、家庭影院、专业音响
2017/12/21 全球购物
LN-CC美国:伦敦时尚生活的缩影
2019/02/19 全球购物
五一劳动节活动总结
2015/02/09 职场文书
拾金不昧通报表扬范文
2015/05/05 职场文书
Python 中数组和数字相乘时的注意事项说明
2021/05/10 Python
Pytorch 中net.train 和 net.eval的使用说明
2021/05/22 Python
MySQL的InnoDB存储引擎的数据页结构详解
2022/03/03 MySQL
Golang 1.18 多模块Multi-Module工作区模式的新特性
2022/04/11 Golang
Vue Element plus使用方法梳理
2022/12/24 Vue.js