详解python实现交叉验证法与留出法


Posted in Python onJuly 11, 2019

在机器学习中,我们经常在训练集上训练模型,在测试集上测试模型。最终的目标是希望我们的模型在测试集上有最好的表现。

但是,我们往往只有一个包含m个观测的数据集D,我们既要用它进行训练,又要对它进行测试。此时,我们就需要对数据集D进行划分。

对于数据集D的划分,我们尽量需要满足三个要求:

  1. 训练集样本量充足
  2. 训练模型时的计算量可以忍受
  3. 不同的划分方式会得出不同的训练集和测试集,从而得出不同的结果,我们需要消除这种影响

我们将分别介绍留出法、交叉验证法,以及各自的python实现。自助法(bootstrapping)将在下篇中加以介绍。

1.留出法

留出法是最常用最直接最简单的方法,它直接将数据集D拆分成两个互斥的集合,其中一个作为训练集R,另一个作为测试集T。 即

详解python实现交叉验证法与留出法

在使用留出法时,需要注意:

  1. 要有足够的样本量,以保证训练模型的效果
  2. 在划分时注意保证数据分布的一致性(如:500个样本中正例和反例的比为2:3,则在训练集和测试集中正例和反例的比也要求为2:3),只需要采用随机分层抽样即可
  3. 为了减弱随机划分的影响,重复划分训练集和测试集,对得到的多次结果取平均作为最后的结果
  4. 一般训练集和测试集的比例在8:2或者7:3

当然留出法的缺点也非常明显,即它会损失一定的样本信息;同时需要大样本

python实现留出法,只需要使用sklearn包就可以

from sklearn.model_selection import train_test_split
#使用train_test_split划分训练集和测试集
train_X , test_X, train_Y ,test_Y = train_test_split(
  X, Y, test_size=0.2,random_state=0)
''' 
X为原始数据的自变量,Y为原始数据因变量;
train_X,test_X是将X按照8:2划分所得;
train_Y,test_Y是将X按照8:2划分所得;
test_size是划分比例;
random_state设置是否使用随机数
'''

2.交叉验证法

交叉验证法(cross validation)可以很好地解决留出法的问题,它对数据量的要求不高,并且样本信息损失不多。

交叉验证法先将数据集D划分为k个大小相似的互斥子集,即

详解python实现交叉验证法与留出法 

为了保证数据分布的一致性,从D中随机分层抽样即可。

之后,每次都用k-1个子集的并集作为训练集,余下的那个子集作为测试集,这样我们就可以获得k组训练/测试集,从而进行k次训练和测试,最终返回这k组测试的均值。

具体说来,我们以k=10为例:
第一次我们选取第10份数据为测试集,前9份为训练集;
第二次我们选取第9份数据为测试集,第1-8和10为训练集;

第十次我们选取第1份数据为测试集,第2-9为训练集;
由此,我们共获得10组训练集和测试集,进行10次训练和测试,最终返回10次测试结果的均值。

显然,交叉验证法结果的稳定性和保真性很大程度取决于k的选择,为了强调这一点,交叉验证法也称作“k折交叉验证法”,k最常取的是10,也有取5或者20的。

详解python实现交叉验证法与留出法

同时,我们也需要避免由于数据划分的随机性造成的误差,我们可以重复进行p次实验。

p次k折交叉验证法,相当于做了pk次留出法(比例为k-1:1)

python实现交叉验证法,只需要使用sklearn包就可以。注意,函数返回的是样本序号。

import pandas as pd
from sklearn.model_selection import KFold

data = pd.read_excel('') #导入数据
kf = KFold(n_splits = 4,shuffle = False,random_state = None) 
'''n_splits表示将数据分成几份;shuffle和random_state表示是否随机生成。
如果shuffle = False,random_state = None,重复运行将产生同样的结果;
如果shuffle = True,random_state = None,重复运行将产生不同的结果;
如果shuffle = True,random_state = (一个数值),重复运行将产生相同的结果;
'''
for train, test in kf.split(data):
 print("%s %s" % (train, test))
 '''
 结果
[ 5 6 7 8 9 10 11 12 13 14 15 16 17 18] [0 1 2 3 4]
[ 0 1 2 3 4 10 11 12 13 14 15 16 17 18] [5 6 7 8 9]
[ 0 1 2 3 4 5 6 7 8 9 15 16 17 18] [10 11 12 13 14]
[ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14] [15 16 17 18]
'''

如果想对数据集重复几次使用交叉验证法划分的话,使用RepeatedKFold函数即可,其中多了一个参数n_repeats

与留出法相比,交叉验证法的数据损失较小,更加适合于小样本,但是其计算复杂度变高,存储空间变大。极端的说来,如果将数据集D(m个样本)分成m份,每次都取m-1个样本为训练集,余下的那一个为测试集。共进行m次训练和测试。这种方法被叫做留一法。

留一法的优点显而易见,其数据损失只有一个样本,并且不会受到样本随即划分的影响。但是,其计算复杂度过高,空间存储占用过大。

python实现交叉验证法,只需要使用sklearn包就可以

from sklearn.model_selection import LeaveOneOut

X = [1, 2, 3, 4]
loo = LeaveOneOut()
for train, test in loo.split(data):
 print("%s %s" % (train, test))
'''结果
[1 2 3] [0]
[0 2 3] [1]
[0 1 3] [2]
[0 1 2] [3]
'''

综上所述:

  1. 当我们数据量足够时,选择留出法简单省时,在牺牲很小的准确度的情况下,换取计算的简便;
  2. 当我们的数据量较小时,我们应该选择交叉验证法,因为此时划分样本集将会使训练数据过少;
  3. 当我们的数据量特别少的时候,我们可以考虑留一法。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python urlopen 使用小示例
Sep 06 Python
python实现巡检系统(solaris)示例
Apr 02 Python
python实现超简单端口转发的方法
Mar 13 Python
使用Python脚本生成随机IP的简单方法
Jul 30 Python
pandas 获取季度,月度,年度首尾日期的方法
Apr 11 Python
在matplotlib的图中设置中文标签的方法
Dec 13 Python
PyCharm设置每行最大长度限制的方法
Jan 16 Python
python如何实现视频转代码视频
Jun 17 Python
Python实现投影法分割图像示例(二)
Jan 17 Python
python GUI库图形界面开发之PyQt5选项卡控件QTabWidget详细使用方法与实例
Mar 01 Python
python基于selenium爬取斗鱼弹幕
Feb 20 Python
python疲劳驾驶困倦低头检测功能的实现
Apr 04 Python
python程序运行进程、使用时间、剩余时间显示功能的实现代码
Jul 11 #Python
Python循环中else,break和continue的用法实例详解
Jul 11 #Python
Python 获取 datax 执行结果保存到数据库的方法
Jul 11 #Python
python opencv捕获摄像头并显示内容的实现
Jul 11 #Python
python 将日期戳(五位数时间)转换为标准时间
Jul 11 #Python
用Python获取摄像头并实时控制人脸的实现示例
Jul 11 #Python
python实现LBP方法提取图像纹理特征实现分类的步骤
Jul 11 #Python
You might like
php Smarty date_format [格式化时间日期]
2010/03/15 PHP
PHP中strtotime函数使用方法详解
2011/11/27 PHP
PHP中trait使用方法详细介绍
2017/05/21 PHP
php如何计算两坐标点之间的距离
2018/12/29 PHP
javascript学习网址备忘
2007/05/29 Javascript
判断多个元素(RADIO,CHECKBOX等)是否被选择的原理说明
2009/02/18 Javascript
JavaScript Serializer序列化时间处理示例
2014/07/31 Javascript
Node.js插件的正确编写方式
2014/08/03 Javascript
json实现前后台的相互传值详解
2015/01/05 Javascript
PHP结合jQuery实现的评论顶、踩功能
2015/07/22 Javascript
JavaScript+html5 canvas绘制渐变区域完整实例
2016/01/26 Javascript
微信小程序微信支付接入开发实例详解
2017/04/12 Javascript
基于Vue实例生命周期(全面解析)
2017/08/16 Javascript
react配合antd组件实现的管理系统示例代码
2018/04/24 Javascript
简述vue路由打开一个新的窗口的方法
2018/11/29 Javascript
Vue2 添加数据可视化支持的方法步骤
2019/01/02 Javascript
详解JS实现简单的时分秒倒计时代码
2019/04/25 Javascript
Javascript操作select控件代码实例
2020/02/14 Javascript
Swift 3.0在集合类数据结构上的一些新变化总结
2016/07/11 Python
python去除字符串中的换行符
2017/10/11 Python
Python基于回溯法解决01背包问题实例
2017/12/06 Python
TensorFlow中权重的随机初始化的方法
2018/02/11 Python
python3+PyQt5实现自定义分数滑块部件
2018/04/24 Python
使用50行Python代码从零开始实现一个AI平衡小游戏
2018/11/21 Python
Python数据抓取爬虫代理防封IP方法
2018/12/23 Python
Python解压 rar、zip、tar文件的方法
2019/11/19 Python
在pytorch中对非叶节点的变量计算梯度实例
2020/01/10 Python
python GUI库图形界面开发之PyQt5时间控件QTimer详细使用方法与实例
2020/02/26 Python
Python进行统计建模
2020/08/10 Python
项目安全员岗位职责
2015/02/15 职场文书
教师节主题班会教案
2015/08/17 职场文书
《我要的是葫芦》教学反思
2016/02/18 职场文书
2019年行政人事个人工作总结范本!
2019/07/19 职场文书
《岳阳楼记》原文、译文赏析
2019/09/10 职场文书
Go语言空白表示符_的实例用法
2021/07/04 Golang
Python OpenCV之常用滤波器使用详解
2022/04/07 Python