sklearn和keras的数据切分与交叉验证的实例详解


Posted in Python onJune 19, 2020

在训练深度学习模型的时候,通常将数据集切分为训练集和验证集.Keras提供了两种评估模型性能的方法:

使用自动切分的验证集

使用手动切分的验证集

一.自动切分

在Keras中,可以从数据集中切分出一部分作为验证集,并且在每次迭代(epoch)时在验证集中评估模型的性能.

具体地,调用model.fit()训练模型时,可通过validation_split参数来指定从数据集中切分出验证集的比例.

# MLP with automatic validation set
from keras.models import Sequential
from keras.layers import Dense
import numpy
# fix random seed for reproducibility
numpy.random.seed(7)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# create model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(X, Y, validation_split=0.33, epochs=150, batch_size=10)

validation_split:0~1之间的浮点数,用来指定训练集的一定比例数据作为验证集。验证集将不参与训练,并在每个epoch结束后测试的模型的指标,如损失函数、精确度等。

注意,validation_split的划分在shuffle之前,因此如果你的数据本身是有序的,需要先手工打乱再指定validation_split,否则可能会出现验证集样本不均匀。

二.手动切分

Keras允许在训练模型的时候手动指定验证集.

例如,用sklearn库中的train_test_split()函数将数据集进行切分,然后在keras的model.fit()的时候通过validation_data参数指定前面切分出来的验证集.

# MLP with manual validation set
from keras.models import Sequential
from keras.layers import Dense
from sklearn.model_selection import train_test_split
import numpy
# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# split into 67% for train and 33% for test
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.33, random_state=seed)
# create model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(X_train, y_train, validation_data=(X_test,y_test), epochs=150, batch_size=10)

三.K折交叉验证(k-fold cross validation)

将数据集分成k份,每一轮用其中(k-1)份做训练而剩余1份做验证,以这种方式执行k轮,得到k个模型.将k次的性能取平均,作为该算法的整体性能.k一般取值为5或者10.

优点:能比较鲁棒性地评估模型在未知数据上的性能.

缺点:计算复杂度较大.因此,在数据集较大,模型复杂度较高,或者计算资源不是很充沛的情况下,可能不适用,尤其是在训练深度学习模型的时候.

sklearn.model_selection提供了KFold以及RepeatedKFold, LeaveOneOut, LeavePOut, ShuffleSplit, StratifiedKFold, GroupKFold, TimeSeriesSplit等变体.

下面的例子中用的StratifiedKFold采用的是分层抽样,它保证各类别的样本在切割后每一份小数据集中的比例都与原数据集中的比例相同.

# MLP for Pima Indians Dataset with 10-fold cross validation
from keras.models import Sequential
from keras.layers import Dense
from sklearn.model_selection import StratifiedKFold
import numpy
# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# define 10-fold cross validation test harness
kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=seed)
cvscores = []
for train, test in kfold.split(X, Y):
 # create model
  model = Sequential()
  model.add(Dense(12, input_dim=8, activation='relu'))
  model.add(Dense(8, activation='relu'))
  model.add(Dense(1, activation='sigmoid'))
  # Compile model
  model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
  # Fit the model
  model.fit(X[train], Y[train], epochs=150, batch_size=10, verbose=0)
  # evaluate the model
  scores = model.evaluate(X[test], Y[test], verbose=0)
  print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
  cvscores.append(scores[1] * 100)
print("%.2f%% (+/- %.2f%%)" % (numpy.mean(cvscores), numpy.std(cvscores)))

补充知识:训练集,验证集和测试集

训练集:通过最小化目标函数(损失函数 + 正则项),用来训练模型的参数。当目标函数最小化时,完成对模型的训练。

验证集:用来选择模型的阶数。目标函数最小的模型对应的阶数,为模型的最终选择的阶数。

注:

1. 验证集会在训练过程中,反复使用,机器学习中作为选择不同模型的评判标准,深度学习中作为选择网络层数和每层节点数的评判标准。

2. 验证集的使用并非必不可少,如果网络的层数和节点数已经确定,则不需要这一步操作。

测试集:评估模型的泛化能力。根据选择的已经训练好的模型,评估它的泛化能力。

注:

测试集评判的是最终训练好的模型的泛化能力,只进行一次评判。

以上这篇sklearn和keras的数据切分与交叉验证的实例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python选择排序算法的实现代码
Nov 21 Python
python脚本实现统计日志文件中的ip访问次数代码分享
Aug 06 Python
用实例分析Python中method的参数传递过程
Apr 02 Python
基础的十进制按位运算总结与在Python中的计算示例
Jun 28 Python
Java与Python两大幸存者谁更胜一筹呢
Apr 12 Python
python dataframe向下向上填充,fillna和ffill的方法
Nov 28 Python
Python3 使用cookiejar管理cookie的方法
Dec 28 Python
python实现K近邻回归,采用等权重和不等权重的方法
Jan 23 Python
Selenium自动化测试工具使用方法汇总
Jun 12 Python
Python如何读取、写入CSV数据
Jul 28 Python
详解如何修改python中字典的键和值
Sep 29 Python
详解如何修改jupyter notebook的默认目录和默认浏览器
Jan 24 Python
Python虚拟环境的创建和包下载过程分析
Jun 19 #Python
通过实例解析python创建进程常用方法
Jun 19 #Python
keras model.fit 解决validation_spilt=num 的问题
Jun 19 #Python
为什么是 Python -m
Jun 19 #Python
Python 私有属性和私有方法应用场景分析
Jun 19 #Python
Python基于network模块制作电影人物关系图
Jun 19 #Python
keras中的History对象用法
Jun 19 #Python
You might like
php提交表单时判断 if($_POST[submit])与 if(isset($_POST[submit])) 的区别
2011/02/08 PHP
浅谈php serialize()与unserialize()的用法
2013/06/05 PHP
深入apache host的配置详解
2013/06/09 PHP
汇总PHPmailer群发Gmail的常见问题
2016/02/24 PHP
PHP字符串逆序排列实现方法小结【strrev函数,二分法,循环法,递归法】
2017/01/13 PHP
thinkPHP5.0框架独立配置与动态配置方法
2017/03/17 PHP
PHP反射实际应用示例
2019/04/03 PHP
40款非常棒的jQuery 插件和制作教程(系列二)
2011/11/02 Javascript
JavaScript中九种常用排序算法
2014/09/02 Javascript
jQuery中:selected选择器用法实例
2015/01/04 Javascript
node.js调用C++开发的模块实例
2015/07/03 Javascript
JS实现兼容火狐及IE iframe onload属性的遮罩层隐藏及显示效果
2016/08/23 Javascript
AngularJs表单验证实例代码解析
2016/11/29 Javascript
如何制作幻灯片(代码分享)
2017/01/06 Javascript
基于Bootstrap漂亮简洁的CSS3价格表(附源码下载)
2017/02/28 Javascript
validationEngine 表单验证插件使用实例代码
2017/06/15 Javascript
Easyui ueditor 整合解决不能编辑的问题(推荐)
2017/06/25 Javascript
webpack多页面开发实践
2017/12/18 Javascript
基于Node.js实现压缩和解压缩的方法
2018/02/13 Javascript
vue组件之间的数据传递方法详解
2019/04/19 Javascript
原生javascript中this几种常见用法总结
2020/02/24 Javascript
[48:53]2014 DOTA2华西杯精英邀请赛 5 25 LGD VS VG第一场
2014/05/26 DOTA
[11:27]《一刀刀一天》之DOTA全时刻20:TI4总奖金突破920W TS赛事分析
2014/06/18 DOTA
java直接调用python脚本的例子
2014/02/16 Python
python中黄金分割法实现方法
2015/05/06 Python
python 计算两个日期相差多少个月实例代码
2017/05/24 Python
Python使用matplotlib简单绘图示例
2018/02/01 Python
Pycharm2017版本设置启动时默认自动打开项目的方法
2018/10/29 Python
Pytorch根据layers的name冻结训练方式
2020/01/06 Python
python可视化text()函数使用详解
2020/02/11 Python
python如何编写类似nmap的扫描工具
2020/11/06 Python
世界上最大的高分辨率在线图片库:Alamy
2018/07/07 全球购物
绿色环保口号
2014/06/12 职场文书
春节超市活动方案
2014/08/14 职场文书
先进基层党组织材料
2014/12/25 职场文书
团队合作精神学习心得体会
2016/01/19 职场文书