Python实现非正太分布的异常值检测方式


Posted in Python onDecember 09, 2019

工作中,我们经常会遇到数据异常,比如说浏览量突增猛降,交易量突增猛降,但是这些数据又不是符合正太分布的,如果用几倍西格玛就不合适,那么我们如何来判断这些变化是否在合理的范围呢?

小白查阅一些资料后,发现可以用箱形图,具体描述如下:

箱形图(英文:Box plot),又称为盒须图、盒式图、盒状图或箱线图,是一种用作显示一组数据分散情况资料的统计图。因型状如箱子而得名。箱形图最大的优点就是不受异常值的影响,能够准确稳定地描绘出数据的离散分布情况,同时也利于数据的清洗。

Python实现非正太分布的异常值检测方式

异常值可以设置为上四分位数的1.25倍,也可以设置为1.5倍,具体的要通过实验可得。

1、下四分位数Q1

(1)确定四分位数的位置。Qi所在位置=i(n+1)/4,其中i=1,2,3。n表示序列中包含的项数。

(2)根据位置,计算相应的四分位数。

例中:Q1所在的位置=(14+1)/4=3.75,Q1=0.25×第三项+0.75×第四项=0.25×17+0.75×19=18.5;

2、中位数(第二个四分位数)Q2中位数,即一组数由小到大排列处于中间位置的数。若序列数为偶数个,该组的中位数为中间两个数的平均数。

例中:Q2所在的位置=2(14+1)/4=7.5,Q2=0.5×第七项+0.5×第八项=0.5×25+0.5×28=26.5

3、上四分位数Q3计算方法同下四分位数。

例中:Q3所在的位置=3(14+1)/4=11.25,Q3=0.75×第十一项+0.25×第十二项=0.75×34+0.25×35=34.25。

4、上限上限是非异常范围内的最大值。

首先要知道什么是四分位距如何计算的?四分位距IQR=Q3-Q1,那么上限=Q3+1.5IQR5、下限下限是非异常范围内的最小值。下限=Q1-1.5IQR

我这里是使用上四分位数的1.5倍作为上限,下四分位数的1.5倍作为下限。

这里是拿历史一个月每天的产量和间夜量作为参考,统计出历史的箱线图的各个指标,然后将要比较的数据,来进行循环判断,若超过上限/下限那么抛出1和0.

# -*- coding: utf-8 -*-
"""
Created on Tue Apr 30 10:52:37 2019
@author: chen_lib
"""
 
import pandas as pd
catering_sale = 'D:/Users/chen_lib/Desktop/ceshi.csv' #读取历史数据
datax = pd.read_csv(catering_sale) #读取数据
#取出不是昨天的数据
data = datax.loc[datax['orderdate'] != datetime][:]
'''
import time
## yyyy-mm-dd格式
print (time.strftime("%Y-%m-%d"))
'''
#时间减一天
import datetime
datetime = (datetime.datetime.now()+datetime.timedelta(days=-1)).strftime("%Y-%m-%d")
 
 
#保存基本统计量,将常见的统计信息保存为数据框
statistics = data.describe() 
#添加行标签 计算出每个指标的上线下线和四分位间距
statistics.loc['IQR'] = statistics.loc['75%']-statistics.loc['25%'] #四分位数间距
statistics.loc['UP'] = statistics.loc['75%'] + 1.5*statistics.loc['IQR'] #上限
statistics.loc['DAWN'] = statistics.loc['25%'] - 1.5*statistics.loc['IQR']#下限
#取出data的列名
columns = data.columns.values.tolist()
 
 
'''取出要比较的数值,放在统计信息表'''
a = data.loc[data['orderdate'] == datetime][columns[1]]#取出第一列
b = data.loc[data['orderdate'] == datetime][columns[2]]#取出第二列
statistics.loc['res'] = [a[1],b[1]]#取出需要比较的当天的数据 放入统计信息中
  
 
'''循环取出结果是否满足要求''' 
ret = [] 
for i in range(2):
  res = statistics.loc['res'][i]
  max = statistics.loc['UP'][columns[i+1]]#最大值
  min = statistics.loc['DAWN'][columns[i+1]]#最小值
  '''
  #重建三个值的索引,以便比较大小
  res.index = ['ordernum']
  max.index = max['ordernum']
  min.index = min['ordernum']
  #判断异常值,若大于最大值或者小于最小值则抛出结果为1
  '''
  result1 = res>max
  result2 = res<min
  if result1 =='False' or result2 == 'False':
    ret.append([columns[i+1],1])
  else: 
    ret.append([columns[i+1],0])
  df = pd.DataFrame(ret)
  
	#将文件写入excel表中
df.to_excel("d:/Users/chen_lib/Desktop/ceshi.xlsx",sheet_name="total",index=False,header=False)

以上这篇Python实现非正太分布的异常值检测方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现一个简单的MySQL类
Jan 07 Python
python从网络读取图片并直接进行处理的方法
May 22 Python
Python对数据库操作
Mar 28 Python
CentOS下使用yum安装python-pip失败的完美解决方法
Aug 16 Python
python绘制已知点的坐标的直线实例
Jul 04 Python
django之状态保持-使用redis存储session的例子
Jul 28 Python
python爬虫 urllib模块url编码处理详解
Aug 20 Python
python文字转语音实现过程解析
Nov 12 Python
使用Pyhton集合set()实现成果查漏的例子
Nov 24 Python
python的列表List求均值和中位数实例
Mar 03 Python
对Python中 \r, \n, \r\n的彻底理解
Mar 06 Python
Python打包为exe详细教程
May 18 Python
python 实现检验33品种数据是否是正态分布
Dec 09 #Python
Python远程开发环境部署与调试过程图解
Dec 09 #Python
使用 Python 合并多个格式一致的 Excel 文件(推荐)
Dec 09 #Python
Python udp网络程序实现发送、接收数据功能示例
Dec 09 #Python
python3 tcp的粘包现象和解决办法解析
Dec 09 #Python
python绘制规则网络图形实例
Dec 09 #Python
Spring实战之使用util:命名空间简化配置操作示例
Dec 09 #Python
You might like
phpstrom使用xdebug配置方法
2013/12/17 PHP
php编写简单的文章发布程序
2015/06/18 PHP
深入解析WordPress中加载模板的get_template_part函数
2016/01/11 PHP
php单元测试phpunit入门实例教程
2017/11/17 PHP
PHP Class SoapClient not found解决方法
2018/01/20 PHP
动态加载iframe
2006/06/16 Javascript
使用JS进行目录上传(相当于批量上传)
2010/12/05 Javascript
非常棒的10款jQuery 幻灯片插件
2011/06/14 Javascript
JavaScript实现多维数组的方法
2013/11/20 Javascript
利用window.name实现windowStorage代码分享
2014/01/02 Javascript
IE6-IE9使用JSON、table.innerHTML所引发的问题
2015/12/22 Javascript
JavaScript实现邮箱地址自动匹配功能代码
2016/11/28 Javascript
浅谈jQuery中事情的动态绑定
2017/02/12 Javascript
javascript 中select框触发事件过程的分析
2017/08/01 Javascript
React Native 环境搭建的教程
2017/08/19 Javascript
vue中v-cloak解决刷新或者加载出现闪烁问题(显示变量)
2018/04/20 Javascript
vue v-for直接循环数字实例
2019/11/07 Javascript
js实现随机抽奖
2020/03/19 Javascript
vue动画—通过钩子函数实现半场动画操作
2020/08/09 Javascript
详谈Vue.js框架下main.js,App.vue,page/index.vue之间的区别
2020/08/12 Javascript
[02:03]DOTA2亚洲邀请赛 HGT战队出场宣传片
2015/02/07 DOTA
基于Python_脚本CGI、特点、应用、开发环境(详解)
2017/05/23 Python
恢复百度云盘本地误删的文件脚本(简单方法)
2017/10/21 Python
python下解压缩zip文件并删除文件的实例
2018/04/24 Python
python之消除前缀重命名的方法
2018/10/21 Python
PyQt打开保存对话框的方法和使用详解
2019/02/27 Python
Python3安装pip工具的详细步骤
2019/10/14 Python
使用python模拟高斯分布例子
2019/12/09 Python
Pycharm中配置远程Docker运行环境的教程图解
2020/06/11 Python
python3 re返回形式总结
2020/11/20 Python
北京麒麟网信息技术有限公司网络游戏测试面试题
2013/09/28 面试题
计算机应用专业推荐信
2013/11/13 职场文书
财务部岗位职责范本
2015/04/14 职场文书
毕业证明书
2015/06/19 职场文书
《观潮》教学反思
2016/02/17 职场文书
Python函数式编程中itertools模块详解
2021/09/15 Python