利用Python进行异常值分析实例代码


Posted in Python onDecember 07, 2017

前言

异常值是指样本中的个别值,也称为离群点,其数值明显偏离其余的观测值。常用检测方法3σ原则和箱型图。其中,3σ原则只适用服从正态分布的数据。在3σ原则下,异常值被定义为观察值和平均值的偏差超过3倍标准差的值。P(|x−μ|>3σ)≤0.003,在正太分布假设下,大于3σ的值出现的概率小于0.003,属于小概率事件,故可认定其为异常值。

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的,不加剔除地把异常值包括进数据的计算分析过程中,对结果会产生不良影响;重视异常值的出现,分析其产生的原因,常常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值,其数值明显偏离其余的观测值。异常值也称为离群点,异常值的分析也称为离群点分析。

(1)简单统计量分析

可以先对变量做一个描述性统计,进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值,用来判断这个变量的取值是否超出了合理的范围。如客户年龄的最大值为199岁,则该变量的取值存在异常。

(2)3原则

如果数据服从正态分布,在3原则下,异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下,距离平均值3之外的值出现的概率为P(|x-|>3)≤0.003,属于极个别的小概率事件。

如果数据不服从正态分布,也可以用远离平均值的多少倍标准差来描述。

(3)箱型图分析

箱型图提供了识别异常值的一个标准:异常值通常被定义为小于QL-1.5IQR或大于QU+1.5IQR的值。QL称为下四分位数,表示全部观察值中有四分之一的数据取值比它小;QU称为上四分位数,表示全部观察值中有四分之一的数据取值比它大;IQR称为四分位数间距,是上四分位数QU与下四分位数QL之差,其间包含了全部观察值的一半。

箱型图依据实际数据绘制,没有对数据作任何限制性要求(如服从某种特定的分布形式),它只是真实直观地表现数据分布的本来面貌;另一方面,箱型图判断异常值的标准以四分位数和四分位距为基础,四分位数具有一定的鲁棒性:多达25%的数据可以变得任意远而不会很大地扰动四分位数,所以异常值不能对这个标准施加影响。由此可见,箱型图识别异常值的结果比较客观,在识别异常值方面有一定的优越性,如图3-1所示。

利用Python进行异常值分析实例代码

如下数据:

日期 2015/2/10 2015/2/11 2015/2/12 2015/2/13 2015/2/14

销量额 2742.8 3014.3 865 3036.8

我们对其进行异常值分析

import pandas as pd

catering_sale = 'data2.xls' #餐饮数据
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据,指定“日期”列为索引列

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure() #建立图像
p = data.boxplot() #画箱线图,直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort() #从小到大排序,该方法直接改变原对象

#用annotate添加注释
#其中有些相近的点,注解会出现重叠,难以看清,需要一些技巧来控制。
#以下参数都是经过调试的,需要具体问题具体调试。
for i in range(len(x)): 
 if i>0:
 plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
 else:
 plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show()

结果如下:

利用Python进行异常值分析实例代码

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python的print用法示例
Feb 11 Python
python里将list中元素依次向前移动一位
Sep 12 Python
Python的面向对象思想分析
Jan 14 Python
20招让你的Python飞起来!
Sep 27 Python
python3中dict(字典)的使用方法示例
Mar 22 Python
获取Django项目的全部url方法详解
Oct 26 Python
python中int与str互转方法
Jul 02 Python
Django 路由控制的实现代码
Nov 08 Python
Python下简易的单例模式详解
Apr 08 Python
Django在admin后台集成TinyMCE富文本编辑器的例子
Aug 09 Python
Python应用实现处理excel数据过程解析
Jun 19 Python
python调用摄像头的示例代码
Sep 28 Python
Python3解决棋盘覆盖问题的方法示例
Dec 07 #Python
python实现对excel进行数据剔除操作实例
Dec 07 #Python
Python编程实现使用线性回归预测数据
Dec 07 #Python
机器学习10大经典算法详解
Dec 07 #Python
机器学习的框架偏向于Python的13个原因
Dec 07 #Python
python编程线性回归代码示例
Dec 07 #Python
基于Django的ModelForm组件(详解)
Dec 07 #Python
You might like
四个常见html网页乱码问题及解决办法
2015/09/08 PHP
PHP用户管理中常用接口调用实例及解析(含源码)
2017/03/09 PHP
PHP开发实现微信退款功能示例
2017/11/25 PHP
删除重复数据的算法
2006/11/23 Javascript
node.js中的fs.lchmodSync方法使用说明
2014/12/16 Javascript
jQuery中click事件的定义和用法
2014/12/20 Javascript
AngularJS表单编辑提交功能实例
2015/02/13 Javascript
jQuery实现高亮显示网页关键词的方法
2015/08/07 Javascript
js实现三张图(文)片一起切换的banner焦点图
2015/08/25 Javascript
JS中Json数据的处理和解析JSON数据的方法详解
2016/06/29 Javascript
jQuery删除当前节点元素
2016/12/07 Javascript
基于javascript实现数字英文验证码
2017/01/25 Javascript
JavaScript实现定时页面跳转功能示例
2017/02/14 Javascript
js实现二级导航功能
2017/03/03 Javascript
无循环 JavaScript(map、reduce、filter和find)
2017/04/08 Javascript
vue 2.0路由之路由嵌套示例详解
2017/05/08 Javascript
webpack多入口文件页面打包配置详解
2018/01/09 Javascript
详解vue指令与$nextTick 操作DOM的不同之处
2018/08/02 Javascript
webpack4.0+vue2.0利用批处理生成前端单页或多页应用的方法
2019/06/28 Javascript
layui 中select下拉change事件失效的解决方法
2019/09/20 Javascript
vuex存储复杂参数(如对象数组等)刷新数据丢失的解决方法
2019/11/05 Javascript
JavaScript对象字面量和构造函数原理与用法详解
2020/04/18 Javascript
[42:04]DOTA2上海特级锦标赛主赛事日 - 2 胜者组第一轮#3Secret VS OG第一局
2016/03/03 DOTA
Python调用C++程序的方法详解
2017/01/24 Python
Python OpenCV处理图像之滤镜和图像运算
2018/07/10 Python
pandas的相关系数与协方差实例
2019/12/27 Python
Python函数__new__及__init__作用及区别解析
2020/08/31 Python
Parts Express:音频、视频和扬声器的第一来源
2017/04/25 全球购物
柒牌官方商城:中国男装优秀品牌
2017/06/30 全球购物
 Alo Yoga官网:购买瑜伽服装
2018/06/17 全球购物
eBay荷兰购物网站:eBay.nl
2020/06/26 全球购物
大学生自我鉴定
2013/12/08 职场文书
学校后勤人员职责
2013/12/27 职场文书
医学专业职业生涯规划范文
2014/02/05 职场文书
幼师中班个人总结
2015/02/12 职场文书
十大最强岩石系宝可梦,怪颚龙实力最强,第七破坏力很强
2022/03/18 日漫