sklearn和keras的数据切分与交叉验证的实例详解


Posted in Python onJune 19, 2020

在训练深度学习模型的时候,通常将数据集切分为训练集和验证集.Keras提供了两种评估模型性能的方法:

使用自动切分的验证集

使用手动切分的验证集

一.自动切分

在Keras中,可以从数据集中切分出一部分作为验证集,并且在每次迭代(epoch)时在验证集中评估模型的性能.

具体地,调用model.fit()训练模型时,可通过validation_split参数来指定从数据集中切分出验证集的比例.

# MLP with automatic validation set
from keras.models import Sequential
from keras.layers import Dense
import numpy
# fix random seed for reproducibility
numpy.random.seed(7)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# create model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(X, Y, validation_split=0.33, epochs=150, batch_size=10)

validation_split:0~1之间的浮点数,用来指定训练集的一定比例数据作为验证集。验证集将不参与训练,并在每个epoch结束后测试的模型的指标,如损失函数、精确度等。

注意,validation_split的划分在shuffle之前,因此如果你的数据本身是有序的,需要先手工打乱再指定validation_split,否则可能会出现验证集样本不均匀。

二.手动切分

Keras允许在训练模型的时候手动指定验证集.

例如,用sklearn库中的train_test_split()函数将数据集进行切分,然后在keras的model.fit()的时候通过validation_data参数指定前面切分出来的验证集.

# MLP with manual validation set
from keras.models import Sequential
from keras.layers import Dense
from sklearn.model_selection import train_test_split
import numpy
# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# split into 67% for train and 33% for test
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.33, random_state=seed)
# create model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(X_train, y_train, validation_data=(X_test,y_test), epochs=150, batch_size=10)

三.K折交叉验证(k-fold cross validation)

将数据集分成k份,每一轮用其中(k-1)份做训练而剩余1份做验证,以这种方式执行k轮,得到k个模型.将k次的性能取平均,作为该算法的整体性能.k一般取值为5或者10.

优点:能比较鲁棒性地评估模型在未知数据上的性能.

缺点:计算复杂度较大.因此,在数据集较大,模型复杂度较高,或者计算资源不是很充沛的情况下,可能不适用,尤其是在训练深度学习模型的时候.

sklearn.model_selection提供了KFold以及RepeatedKFold, LeaveOneOut, LeavePOut, ShuffleSplit, StratifiedKFold, GroupKFold, TimeSeriesSplit等变体.

下面的例子中用的StratifiedKFold采用的是分层抽样,它保证各类别的样本在切割后每一份小数据集中的比例都与原数据集中的比例相同.

# MLP for Pima Indians Dataset with 10-fold cross validation
from keras.models import Sequential
from keras.layers import Dense
from sklearn.model_selection import StratifiedKFold
import numpy
# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# define 10-fold cross validation test harness
kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=seed)
cvscores = []
for train, test in kfold.split(X, Y):
 # create model
  model = Sequential()
  model.add(Dense(12, input_dim=8, activation='relu'))
  model.add(Dense(8, activation='relu'))
  model.add(Dense(1, activation='sigmoid'))
  # Compile model
  model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
  # Fit the model
  model.fit(X[train], Y[train], epochs=150, batch_size=10, verbose=0)
  # evaluate the model
  scores = model.evaluate(X[test], Y[test], verbose=0)
  print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
  cvscores.append(scores[1] * 100)
print("%.2f%% (+/- %.2f%%)" % (numpy.mean(cvscores), numpy.std(cvscores)))

补充知识:训练集,验证集和测试集

训练集:通过最小化目标函数(损失函数 + 正则项),用来训练模型的参数。当目标函数最小化时,完成对模型的训练。

验证集:用来选择模型的阶数。目标函数最小的模型对应的阶数,为模型的最终选择的阶数。

注:

1. 验证集会在训练过程中,反复使用,机器学习中作为选择不同模型的评判标准,深度学习中作为选择网络层数和每层节点数的评判标准。

2. 验证集的使用并非必不可少,如果网络的层数和节点数已经确定,则不需要这一步操作。

测试集:评估模型的泛化能力。根据选择的已经训练好的模型,评估它的泛化能力。

注:

测试集评判的是最终训练好的模型的泛化能力,只进行一次评判。

以上这篇sklearn和keras的数据切分与交叉验证的实例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python绘图库Matplotlib的安装
Jul 03 Python
python中pygame模块用法实例
Oct 09 Python
Python中http请求方法库汇总
Jan 06 Python
Windows下Python2与Python3两个版本共存的方法详解
Feb 12 Python
python+opencv识别图片中的圆形
Mar 25 Python
python操作excel的方法(xlsxwriter包的使用)
Jun 11 Python
python处理csv中的空值方法
Jun 22 Python
Python爬虫将爬取的图片写入world文档的方法
Nov 07 Python
Python使用paramiko操作linux的方法讲解
Feb 25 Python
python实现证件照换底功能
Aug 20 Python
python3.7 openpyxl 删除指定一列或者一行的代码
Oct 08 Python
PyQt5实现多张图片显示并滚动
Jun 11 Python
Python虚拟环境的创建和包下载过程分析
Jun 19 #Python
通过实例解析python创建进程常用方法
Jun 19 #Python
keras model.fit 解决validation_spilt=num 的问题
Jun 19 #Python
为什么是 Python -m
Jun 19 #Python
Python 私有属性和私有方法应用场景分析
Jun 19 #Python
Python基于network模块制作电影人物关系图
Jun 19 #Python
keras中的History对象用法
Jun 19 #Python
You might like
用php写的serv-u的web申请账号的程序
2006/10/09 PHP
PHP setcookie() cannot modify header information 的解决方法
2009/01/09 PHP
利用ajax和PHP实现简单的流程管理
2017/03/23 PHP
PHP开发之归档格式phar文件概念与用法详解【创建,使用,解包还原提取】
2017/11/17 PHP
(JS实现)MapBar中坐标的加密和解密的脚本
2007/05/16 Javascript
Google韩国首页图标动画效果
2007/08/26 Javascript
JQUERY操作JSON实例代码
2010/02/09 Javascript
基于NodeJS的前后端分离的思考与实践(六)Nginx + Node.js + Java 的软件栈部署实践
2014/09/26 NodeJs
js立即执行函数: (function ( ){})( ) 与 (function ( ){}( )) 有什么区别?
2015/11/18 Javascript
AngularJs表单验证实例详解
2016/05/30 Javascript
关于JavaScript和jQuery的类型判断详解
2016/10/08 Javascript
vue2.0使用Sortable.js实现的拖拽功能示例
2017/02/21 Javascript
vue中实现图片和文件上传的示例代码
2018/03/16 Javascript
vue实现自定义多选与单选的答题功能
2018/07/05 Javascript
微信小程序CSS3动画下拉菜单效果
2018/11/04 Javascript
nodejs使用node-xlsx生成excel的方法示例
2019/08/22 NodeJs
js中关于Blob对象的介绍与使用
2019/11/29 Javascript
Node.js 中如何收集和解析命令行参数
2021/01/08 Javascript
Python实现简单截取中文字符串的方法
2015/06/15 Python
python 产生token及token验证的方法
2018/12/26 Python
python re.sub()替换正则的匹配内容方法
2019/07/22 Python
详解python statistics模块及函数用法
2019/10/27 Python
Python协程 yield与协程greenlet简单用法示例
2019/11/22 Python
一款纯css3实现的鼠标经过按钮特效教程
2014/11/09 HTML / CSS
俄罗斯金苹果网上化妆品和香水商店:Goldapple
2019/12/01 全球购物
自荐书4要点
2014/01/25 职场文书
创新型城市实施方案
2014/03/06 职场文书
2014年社区重阳节活动策划方案
2014/09/16 职场文书
购房委托书
2014/10/15 职场文书
县委务虚会发言材料
2014/10/20 职场文书
研究生就业推荐表导师评语
2014/12/31 职场文书
开业庆典嘉宾致辞
2015/08/01 职场文书
2015年社区消防安全工作总结
2015/10/14 职场文书
中秋节作文(五年级)之关于月亮
2019/09/11 职场文书
Java如何实现树的同构?
2021/06/22 Java/Android
MySQL非空约束(not null)案例讲解
2021/08/23 MySQL