详解python实现交叉验证法与留出法


Posted in Python onJuly 11, 2019

在机器学习中,我们经常在训练集上训练模型,在测试集上测试模型。最终的目标是希望我们的模型在测试集上有最好的表现。

但是,我们往往只有一个包含m个观测的数据集D,我们既要用它进行训练,又要对它进行测试。此时,我们就需要对数据集D进行划分。

对于数据集D的划分,我们尽量需要满足三个要求:

  1. 训练集样本量充足
  2. 训练模型时的计算量可以忍受
  3. 不同的划分方式会得出不同的训练集和测试集,从而得出不同的结果,我们需要消除这种影响

我们将分别介绍留出法、交叉验证法,以及各自的python实现。自助法(bootstrapping)将在下篇中加以介绍。

1.留出法

留出法是最常用最直接最简单的方法,它直接将数据集D拆分成两个互斥的集合,其中一个作为训练集R,另一个作为测试集T。 即

详解python实现交叉验证法与留出法

在使用留出法时,需要注意:

  1. 要有足够的样本量,以保证训练模型的效果
  2. 在划分时注意保证数据分布的一致性(如:500个样本中正例和反例的比为2:3,则在训练集和测试集中正例和反例的比也要求为2:3),只需要采用随机分层抽样即可
  3. 为了减弱随机划分的影响,重复划分训练集和测试集,对得到的多次结果取平均作为最后的结果
  4. 一般训练集和测试集的比例在8:2或者7:3

当然留出法的缺点也非常明显,即它会损失一定的样本信息;同时需要大样本

python实现留出法,只需要使用sklearn包就可以

from sklearn.model_selection import train_test_split
#使用train_test_split划分训练集和测试集
train_X , test_X, train_Y ,test_Y = train_test_split(
  X, Y, test_size=0.2,random_state=0)
''' 
X为原始数据的自变量,Y为原始数据因变量;
train_X,test_X是将X按照8:2划分所得;
train_Y,test_Y是将X按照8:2划分所得;
test_size是划分比例;
random_state设置是否使用随机数
'''

2.交叉验证法

交叉验证法(cross validation)可以很好地解决留出法的问题,它对数据量的要求不高,并且样本信息损失不多。

交叉验证法先将数据集D划分为k个大小相似的互斥子集,即

详解python实现交叉验证法与留出法 

为了保证数据分布的一致性,从D中随机分层抽样即可。

之后,每次都用k-1个子集的并集作为训练集,余下的那个子集作为测试集,这样我们就可以获得k组训练/测试集,从而进行k次训练和测试,最终返回这k组测试的均值。

具体说来,我们以k=10为例:
第一次我们选取第10份数据为测试集,前9份为训练集;
第二次我们选取第9份数据为测试集,第1-8和10为训练集;

第十次我们选取第1份数据为测试集,第2-9为训练集;
由此,我们共获得10组训练集和测试集,进行10次训练和测试,最终返回10次测试结果的均值。

显然,交叉验证法结果的稳定性和保真性很大程度取决于k的选择,为了强调这一点,交叉验证法也称作“k折交叉验证法”,k最常取的是10,也有取5或者20的。

详解python实现交叉验证法与留出法

同时,我们也需要避免由于数据划分的随机性造成的误差,我们可以重复进行p次实验。

p次k折交叉验证法,相当于做了pk次留出法(比例为k-1:1)

python实现交叉验证法,只需要使用sklearn包就可以。注意,函数返回的是样本序号。

import pandas as pd
from sklearn.model_selection import KFold

data = pd.read_excel('') #导入数据
kf = KFold(n_splits = 4,shuffle = False,random_state = None) 
'''n_splits表示将数据分成几份;shuffle和random_state表示是否随机生成。
如果shuffle = False,random_state = None,重复运行将产生同样的结果;
如果shuffle = True,random_state = None,重复运行将产生不同的结果;
如果shuffle = True,random_state = (一个数值),重复运行将产生相同的结果;
'''
for train, test in kf.split(data):
 print("%s %s" % (train, test))
 '''
 结果
[ 5 6 7 8 9 10 11 12 13 14 15 16 17 18] [0 1 2 3 4]
[ 0 1 2 3 4 10 11 12 13 14 15 16 17 18] [5 6 7 8 9]
[ 0 1 2 3 4 5 6 7 8 9 15 16 17 18] [10 11 12 13 14]
[ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14] [15 16 17 18]
'''

如果想对数据集重复几次使用交叉验证法划分的话,使用RepeatedKFold函数即可,其中多了一个参数n_repeats

与留出法相比,交叉验证法的数据损失较小,更加适合于小样本,但是其计算复杂度变高,存储空间变大。极端的说来,如果将数据集D(m个样本)分成m份,每次都取m-1个样本为训练集,余下的那一个为测试集。共进行m次训练和测试。这种方法被叫做留一法。

留一法的优点显而易见,其数据损失只有一个样本,并且不会受到样本随即划分的影响。但是,其计算复杂度过高,空间存储占用过大。

python实现交叉验证法,只需要使用sklearn包就可以

from sklearn.model_selection import LeaveOneOut

X = [1, 2, 3, 4]
loo = LeaveOneOut()
for train, test in loo.split(data):
 print("%s %s" % (train, test))
'''结果
[1 2 3] [0]
[0 2 3] [1]
[0 1 3] [2]
[0 1 2] [3]
'''

综上所述:

  1. 当我们数据量足够时,选择留出法简单省时,在牺牲很小的准确度的情况下,换取计算的简便;
  2. 当我们的数据量较小时,我们应该选择交叉验证法,因为此时划分样本集将会使训练数据过少;
  3. 当我们的数据量特别少的时候,我们可以考虑留一法。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python缩进区别分析
Feb 15 Python
在python3环境下的Django中使用MySQL数据库的实例
Aug 29 Python
numpy中的高维数组转置实例
Apr 17 Python
Python自动化之数据驱动让你的脚本简洁10倍【推荐】
Jun 04 Python
使用python画社交网络图实例代码
Jul 10 Python
python经典趣味24点游戏程序设计
Jul 26 Python
python虚拟环境完美部署教程
Aug 06 Python
django组合搜索实现过程详解(附代码)
Aug 06 Python
PyQt5+Caffe+Opencv搭建人脸识别登录界面
Aug 28 Python
python读取文件指定行内容实例讲解
Mar 02 Python
Python检测端口IP字符串是否合法
Jun 05 Python
Python之字符串的遍历的4种方式
Dec 08 Python
python程序运行进程、使用时间、剩余时间显示功能的实现代码
Jul 11 #Python
Python循环中else,break和continue的用法实例详解
Jul 11 #Python
Python 获取 datax 执行结果保存到数据库的方法
Jul 11 #Python
python opencv捕获摄像头并显示内容的实现
Jul 11 #Python
python 将日期戳(五位数时间)转换为标准时间
Jul 11 #Python
用Python获取摄像头并实时控制人脸的实现示例
Jul 11 #Python
python实现LBP方法提取图像纹理特征实现分类的步骤
Jul 11 #Python
You might like
咖啡与牛奶
2021/03/03 冲泡冲煮
php array_push()数组函数:将一个或多个单元压入数组的末尾(入栈)
2011/07/12 PHP
利用“多说”制作留言板、评论系统
2015/07/14 PHP
PHP中echo与print区别点整理
2021/03/09 PHP
JavaScript Array Flatten 与递归使用介绍
2011/10/30 Javascript
使用jQuery实现更改默认alert框体
2015/04/13 Javascript
JS实现的网页背景闪电闪烁效果代码
2015/10/17 Javascript
Bootstrap项目实战之首页内容介绍(全)
2016/04/25 Javascript
使用JavaScript判断手机浏览器是横屏还是竖屏问题
2016/08/02 Javascript
js遍历json对象所有key及根据动态key获取值的方法(必看)
2017/03/09 Javascript
详解angular2实现ng2-router 路由和嵌套路由
2017/03/24 Javascript
JavaScript门面模式详解
2017/10/19 Javascript
详解使用PM2管理nodejs进程
2017/10/24 NodeJs
解决vue-router中的query动态传参问题
2018/03/20 Javascript
小程序hover-class点击态效果实现
2019/02/26 Javascript
微信小程序自定义弹出层效果
2020/05/26 Javascript
[31:33]2014 DOTA2国际邀请赛中国区预选赛 TongFu VS DT 第一场
2014/05/23 DOTA
简单介绍Python中的RSS处理
2015/04/13 Python
python发送HTTP请求的方法小结
2015/07/08 Python
简述:我为什么选择Python而不是Matlab和R语言
2017/11/14 Python
Python开发最牛逼的IDE——pycharm
2018/08/01 Python
Python 变量类型详解
2018/10/10 Python
Pandas中Series和DataFrame的索引实现
2019/06/27 Python
Python爬虫使用浏览器cookies:browsercookie过程解析
2019/10/22 Python
Python 寻找局部最高点的实现
2019/12/05 Python
html5 Canvas画图教程(7)—canvas里画曲线之quadraticCurveTo方法
2013/01/09 HTML / CSS
西班牙创意礼品和小工具网上商店:Curiosite
2016/07/26 全球购物
鱼油专家:Omegavia
2016/10/10 全球购物
加拿大最大的书店:Indigo
2017/01/01 全球购物
枚举和一组预处理的#define有什么不同
2016/09/21 面试题
创业者是否需要商业计划书?
2014/02/07 职场文书
人事行政助理岗位职责
2015/04/11 职场文书
MySQL如何构建数据表索引
2021/05/13 MySQL
SpringBoot快速入门详解
2021/07/21 Java/Android
如何解决goland,idea全局搜索快捷键失效问题
2022/04/03 Golang
基于Python实现nc批量转tif格式
2022/08/14 Python