python数据预处理 :数据抽样解析


Posted in Python onFebruary 24, 2020

何为数据抽样:

抽样是数据处理的一种基本方法,常常伴随着计算资源不足、获取全部数据困难、时效性要求等情况使用。

抽样方法:

一般有四种方法:

随机抽样 直接从整体数据中等概率抽取n个样本。这种方法优势是,简单、好操作、适用于分布均匀的场景;缺点是总体大时无法一一编号

系统抽样 又称机械、等距抽样,将总体中个体按顺序进行编号,然后计算出间隔,再按照抽样间隔抽取个体。优势,易于理解、简便易行。缺点是,如有明显分布规律时容易产生偏差。

群体抽样 总体分群,在随机抽取几个小群代表总体。优点是简单易行、便与组织;缺点是群体划分容易造成误差

分层抽样 先按照观察指标影响较大的某一种特征,将总体分若干个类别,再从每一层随机抽取一定数量的单位合并成总体。优点样本代表性好,少误差

以上四种基本抽样方法都属单阶段抽样,实际应用中常根据实际情况将整个抽样过程分为若干阶段来进行,称为多阶段抽样。

各种抽样方法的抽样误差一般是:整群抽样≥单纯随机抽样≥系统抽样≥分层抽样

python代码实现

import random
import numpy as np
import pandas as pd

# 导入数据
df = pd.read_csv('https://raw.githubusercontent.com/ffzs/dataset/master/glass.csv')

df.index.size
# 214

##########随机抽样##########
#
# 使用pandas
# DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)
# n是要抽取的行数。(例如n=20000时,抽取其中的2W行)
# frac是抽取的比列。(有一些时候,我们并对具体抽取的行数不关系,我们想抽取其中的百分比,这个时候就可以选择使用frac,例如frac=0.8,就是抽取其中80%)
# replace:是否为有放回抽样,取replace=True时为有放回抽样。
# weights这个是每个样本的权重,具体可以看官方文档说明。
# random_state这个在之前的文章已经介绍过了。
# axis是选择抽取数据的行还是列。axis=0的时是抽取行,axis=1时是抽取列(也就是说axis=1时,在列中随机抽取n列,在axis=0时,在行中随机抽取n行)

df_0 = df.sample(n=20, replace=True)
df_0.index.size
# 20

# 数据准备
data = df.values
# 使用random
data_sample = random.sample(list(data), 20)
len(data_sample)
# 20

##########等距抽样##########
# 指定抽样数量
sample_count = 50
# 获取最大样本量
record_count = data.shape[0]
# 抽样间距
width = record_count//sample_count
data_sample = []
i = 0
# 本量小于等于指定抽样数量并且矩阵索引在有效范围内是
while len(data_sample) <= sample_count and i * width <= record_count -1:
  data_sample.append(data[i*width])
  i += 1
len(data_sample)
# 51

##########分层抽样##########
# 数据只是随便找的分层仅限于演示
# 定义每个分层的抽样数量
each_sample_count = 6
# 定义分层值域
label_data_unique = np.unique(data[:, -1])
# 定义一些数据
sample_list, sample_data, sample_dict = [], [], {}
# 遍历每个分层标签
for label_data in label_data_unique:
  for data_tmp in data: # 读取每条数据
    if data_tmp[-1] == label_data:
      sample_list.append(data_tmp)
  # 对每层数据都数据抽样
  each_sample_data = random.sample(sample_list, each_sample_count)
  sample_data.extend(each_sample_data)
  sample_dict[label_data] = len(each_sample_data)
sample_dict
# {1.0: 6, 2.0: 6, 3.0: 6, 5.0: 6, 6.0: 6, 7.0: 6}

##########整群抽样##########
# 数据分群仅限于演示,不符合实际情况
# 定义整群的标签
label_data_unique = np.unique(data[:, -1])
# 随机抽取2个群
sample_label = random.sample(list(label_data_unique), 2)
# 定义空列表
sample_data = []
# 遍历每个整群标签值域
for each_label in sample_label:
  for data_tmp in data:
    if data_tmp[-1] == each_label:
      sample_data.append(data_tmp)
len(sample_data)
# 83

需要注意的问题

数据抽样过程中要注意一些问题

数据时效性 不能用过时的数据来分析现在的运营状态

关键因素数据 整体数据的关键性数据必须要在模型中,如双十一带来的销售增长

业务随机性 抽样数据要使各个场景的数据分布均衡

数据来源多样性 数据覆盖要全面

抽样数据量问题

时间分布 能包含业务周期。月销售预测,至少包含12个月数据;时间还要考虑季节、节假日、特定促销日等周期性。

做预测分析 考虑特征数据和特征值域的分布,通常数据记录要同时是特征数量和特征值域的100倍以上。例如数据集有5个特征值,每个特征有2个值域,那么数据记录数需要至少1000(10052)条以上

做关联规则分析 根据关联前后项数量(每个前项或后项可包含多个要关联的主体,例如品牌+商品+价格关联),每个主体需要至少1000条数据。例如只做单品销售关联,那么单品的销售记录需要在1000条以上;如果要同时做单品+品牌的关联,那么需要至少2000条数据。

异常检测 无论是监督室还是非监督式建模,对于异常数据本来就是小概率分布的,因此异常数据记录一般越多越好。

以上这篇python数据预处理 :数据抽样解析就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中itertools模块用法详解
Sep 25 Python
Python中输出ASCII大文字、艺术字、字符字小技巧
Apr 28 Python
浅谈python中字典append 到list 后值的改变问题
May 04 Python
Linux下python3.7.0安装教程
Jul 30 Python
Python3 导入上级目录中的模块实例
Feb 16 Python
深度辨析Python的eval()与exec()的方法
Mar 26 Python
详解PyCharm安装MicroPython插件的教程
Jun 24 Python
python中查看.db文件中表格的名字及表格中的字段操作
Jul 07 Python
Python基础教程(一)——Windows搭建开发Python开发环境
Jul 20 Python
python类共享变量操作
Sep 03 Python
python关于倒排列的知识点总结
Oct 13 Python
用Python爬取各大高校并可视化帮弟弟选大学,弟弟直呼牛X
Jun 11 Python
Python找出列表中出现次数最多的元素三种方式
Feb 24 #Python
Python流程控制常用工具详解
Feb 24 #Python
深入浅析Python 函数注解与匿名函数
Feb 24 #Python
python数据预处理方式 :数据降维
Feb 24 #Python
python实现PCA降维的示例详解
Feb 24 #Python
Python sklearn库实现PCA教程(以鸢尾花分类为例)
Feb 24 #Python
python 线性回归分析模型检验标准--拟合优度详解
Feb 24 #Python
You might like
fleaphp rolesNameField bug解决方法
2011/04/23 PHP
PHP 获取MySQL数据库里所有表的实现代码
2011/07/13 PHP
PHP获取和操作配置文件php.ini的几个函数介绍
2013/06/24 PHP
Yii入门教程之目录结构、入口文件及路由设置
2014/11/25 PHP
Apache服务器下防止图片盗链的办法
2015/07/06 PHP
PHP实现生成带背景的图形验证码功能
2016/10/03 PHP
php实现URL加密解密的方法
2016/11/17 PHP
php获取今日开始时间和结束时间的方法
2017/02/27 PHP
动态改变textbox的宽高的js
2006/10/26 Javascript
屏蔽F1~F12的快捷键的js函数
2010/05/06 Javascript
基于jQuery实现表格数据的动态添加与统计的代码
2011/01/31 Javascript
Google的跟踪代码 动态加载js代码方法应用
2012/11/12 Javascript
基于KMP算法JavaScript的实现方法分析
2013/05/03 Javascript
jQuery+php实时获取及响应文本框输入内容的方法
2016/05/24 Javascript
javascript弹出带文字信息的提示框效果
2016/07/19 Javascript
Bootstrap下拉菜单更改为悬停(hover)触发的方法
2017/05/24 Javascript
使用mint-ui实现省市区三级联动效果的示例代码
2018/02/09 Javascript
JS实现百度网盘任意文件强制下载功能
2018/08/31 Javascript
JavaScript使用Math.random()生成简单的验证码
2019/01/21 Javascript
Angular7创建项目、组件、服务以及服务的使用
2019/02/19 Javascript
微信小程序实现渐入渐出动画效果
2019/06/13 Javascript
vue-form表单验证是否为空值的实例详解
2019/10/29 Javascript
JavaScript中while循环的基础使用教程
2020/08/11 Javascript
python多进程共享变量
2016/04/06 Python
MySQL适配器PyMySQL详解
2017/09/20 Python
使用Python进行体育竞技分析(预测球队成绩)
2019/05/16 Python
关于Tensorflow使用CPU报错的解决方式
2020/02/05 Python
Python操作MongoDb数据库流程详解
2020/03/05 Python
浅谈python多线程和多线程变量共享问题介绍
2020/04/17 Python
利用python对mysql表做全局模糊搜索并分页实例
2020/07/12 Python
python 实现批量图片识别并翻译
2020/11/02 Python
英国领先的在线高尔夫商店:Gamola Golf
2019/11/16 全球购物
个人银行贷款担保书
2014/04/01 职场文书
《苏珊的帽子》教学反思
2014/04/07 职场文书
2014年变电站工作总结
2014/12/19 职场文书
小米11和iphone12哪个值得买?小米11对比iphone12评测
2021/04/21 数码科技