利用Python进行异常值分析实例代码


Posted in Python onDecember 07, 2017

前言

异常值是指样本中的个别值,也称为离群点,其数值明显偏离其余的观测值。常用检测方法3σ原则和箱型图。其中,3σ原则只适用服从正态分布的数据。在3σ原则下,异常值被定义为观察值和平均值的偏差超过3倍标准差的值。P(|x−μ|>3σ)≤0.003,在正太分布假设下,大于3σ的值出现的概率小于0.003,属于小概率事件,故可认定其为异常值。

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的,不加剔除地把异常值包括进数据的计算分析过程中,对结果会产生不良影响;重视异常值的出现,分析其产生的原因,常常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值,其数值明显偏离其余的观测值。异常值也称为离群点,异常值的分析也称为离群点分析。

(1)简单统计量分析

可以先对变量做一个描述性统计,进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值,用来判断这个变量的取值是否超出了合理的范围。如客户年龄的最大值为199岁,则该变量的取值存在异常。

(2)3原则

如果数据服从正态分布,在3原则下,异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下,距离平均值3之外的值出现的概率为P(|x-|>3)≤0.003,属于极个别的小概率事件。

如果数据不服从正态分布,也可以用远离平均值的多少倍标准差来描述。

(3)箱型图分析

箱型图提供了识别异常值的一个标准:异常值通常被定义为小于QL-1.5IQR或大于QU+1.5IQR的值。QL称为下四分位数,表示全部观察值中有四分之一的数据取值比它小;QU称为上四分位数,表示全部观察值中有四分之一的数据取值比它大;IQR称为四分位数间距,是上四分位数QU与下四分位数QL之差,其间包含了全部观察值的一半。

箱型图依据实际数据绘制,没有对数据作任何限制性要求(如服从某种特定的分布形式),它只是真实直观地表现数据分布的本来面貌;另一方面,箱型图判断异常值的标准以四分位数和四分位距为基础,四分位数具有一定的鲁棒性:多达25%的数据可以变得任意远而不会很大地扰动四分位数,所以异常值不能对这个标准施加影响。由此可见,箱型图识别异常值的结果比较客观,在识别异常值方面有一定的优越性,如图3-1所示。

利用Python进行异常值分析实例代码

如下数据:

日期 2015/2/10 2015/2/11 2015/2/12 2015/2/13 2015/2/14

销量额 2742.8 3014.3 865 3036.8

我们对其进行异常值分析

import pandas as pd

catering_sale = 'data2.xls' #餐饮数据
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据,指定“日期”列为索引列

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure() #建立图像
p = data.boxplot() #画箱线图,直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort() #从小到大排序,该方法直接改变原对象

#用annotate添加注释
#其中有些相近的点,注解会出现重叠,难以看清,需要一些技巧来控制。
#以下参数都是经过调试的,需要具体问题具体调试。
for i in range(len(x)): 
 if i>0:
 plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
 else:
 plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show()

结果如下:

利用Python进行异常值分析实例代码

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
布同自制Python函数帮助查询小工具
Mar 13 Python
python中正则表达式的使用详解
Oct 17 Python
python中利用xml.dom模块解析xml的方法教程
May 24 Python
Tensorflow卷积神经网络实例进阶
May 24 Python
python保存数据到本地文件的方法
Jun 23 Python
解决Python3中的中文字符编码的问题
Jul 18 Python
Python通过cv2读取多个USB摄像头
Aug 28 Python
python从zip中删除指定后缀文件(推荐)
Dec 05 Python
在matplotlib中改变figure的布局和大小实例
Apr 23 Python
详解pytorch tensor和ndarray转换相关总结
Sep 03 Python
python matplotlib库的基本使用
Sep 23 Python
python 统计代码耗时的几种方法分享
Apr 02 Python
Python3解决棋盘覆盖问题的方法示例
Dec 07 #Python
python实现对excel进行数据剔除操作实例
Dec 07 #Python
Python编程实现使用线性回归预测数据
Dec 07 #Python
机器学习10大经典算法详解
Dec 07 #Python
机器学习的框架偏向于Python的13个原因
Dec 07 #Python
python编程线性回归代码示例
Dec 07 #Python
基于Django的ModelForm组件(详解)
Dec 07 #Python
You might like
php侧拉菜单 漂亮,可以向右或者向左展开,支持FF,IE
2009/10/15 PHP
php数组一对一替换实现代码
2012/08/31 PHP
使用PHPMailer发送邮件实例
2017/02/15 PHP
无阻塞加载脚本分析[全]
2011/01/20 Javascript
也说JavaScript中String类的replace函数
2011/09/22 Javascript
Javascript 拖拽的一些高级的应用(逐行分析代码,让你轻松了拖拽的原理)
2015/01/23 Javascript
jQuery实现行文字链接提示效果的方法
2015/03/10 Javascript
Vue.js中数组变动的检测详解
2016/10/12 Javascript
nodejs的HTML分析利器node-jquery用法浅析
2016/11/08 NodeJs
Bootstrap面板使用方法
2017/01/16 Javascript
angular2中router路由跳转navigate的使用与刷新页面问题详解
2017/05/07 Javascript
详解Vue.use自定义自己的全局组件
2017/06/14 Javascript
本地搭建微信小程序服务器的实现方法
2017/10/27 Javascript
Angular 项目实现国际化的方法
2018/01/08 Javascript
使用watch监听路由变化和watch监听对象的实例
2018/02/24 Javascript
ES6使用export和import实现模块化的方法
2018/09/10 Javascript
详解JavaScript原生封装ajax请求和Jquery中的ajax请求
2019/02/14 jQuery
Node使用Selenium进行前端自动化操作的代码实现
2019/10/10 Javascript
详细分析vue响应式原理
2020/06/22 Javascript
关于angular浏览器兼容性问题的解决方案
2020/07/26 Javascript
Python3实现并发检验代理池地址的方法
2016/09/18 Python
python如何定义带参数的装饰器
2018/03/20 Python
Python 实现交换矩阵的行示例
2019/06/26 Python
pycharm配置当鼠标悬停时快速提示方法参数
2019/07/31 Python
详解用python生成随机数的几种方法
2019/08/04 Python
python 多维高斯分布数据生成方式
2019/12/09 Python
基于pandas向csv添加新的行和列
2020/05/25 Python
Python爬虫UA伪装爬取的实例讲解
2021/02/19 Python
美国CVS药店官网:CVS Pharmacy
2018/07/26 全球购物
募捐倡议书怎么写
2014/05/14 职场文书
校园演讲稿汇总
2014/05/21 职场文书
2015年社会实践个人总结
2015/03/06 职场文书
2015年财务个人工作总结范文
2015/05/22 职场文书
python使用pygame创建精灵Sprite
2021/04/06 Python
万能密码的SQL注入漏洞其PHP环境搭建及防御手段
2021/09/04 SQL Server
php访问对象中的成员的实例方法
2021/11/17 PHP