sklearn和keras的数据切分与交叉验证的实例详解


Posted in Python onJune 19, 2020

在训练深度学习模型的时候,通常将数据集切分为训练集和验证集.Keras提供了两种评估模型性能的方法:

使用自动切分的验证集

使用手动切分的验证集

一.自动切分

在Keras中,可以从数据集中切分出一部分作为验证集,并且在每次迭代(epoch)时在验证集中评估模型的性能.

具体地,调用model.fit()训练模型时,可通过validation_split参数来指定从数据集中切分出验证集的比例.

# MLP with automatic validation set
from keras.models import Sequential
from keras.layers import Dense
import numpy
# fix random seed for reproducibility
numpy.random.seed(7)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# create model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(X, Y, validation_split=0.33, epochs=150, batch_size=10)

validation_split:0~1之间的浮点数,用来指定训练集的一定比例数据作为验证集。验证集将不参与训练,并在每个epoch结束后测试的模型的指标,如损失函数、精确度等。

注意,validation_split的划分在shuffle之前,因此如果你的数据本身是有序的,需要先手工打乱再指定validation_split,否则可能会出现验证集样本不均匀。

二.手动切分

Keras允许在训练模型的时候手动指定验证集.

例如,用sklearn库中的train_test_split()函数将数据集进行切分,然后在keras的model.fit()的时候通过validation_data参数指定前面切分出来的验证集.

# MLP with manual validation set
from keras.models import Sequential
from keras.layers import Dense
from sklearn.model_selection import train_test_split
import numpy
# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# split into 67% for train and 33% for test
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.33, random_state=seed)
# create model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(X_train, y_train, validation_data=(X_test,y_test), epochs=150, batch_size=10)

三.K折交叉验证(k-fold cross validation)

将数据集分成k份,每一轮用其中(k-1)份做训练而剩余1份做验证,以这种方式执行k轮,得到k个模型.将k次的性能取平均,作为该算法的整体性能.k一般取值为5或者10.

优点:能比较鲁棒性地评估模型在未知数据上的性能.

缺点:计算复杂度较大.因此,在数据集较大,模型复杂度较高,或者计算资源不是很充沛的情况下,可能不适用,尤其是在训练深度学习模型的时候.

sklearn.model_selection提供了KFold以及RepeatedKFold, LeaveOneOut, LeavePOut, ShuffleSplit, StratifiedKFold, GroupKFold, TimeSeriesSplit等变体.

下面的例子中用的StratifiedKFold采用的是分层抽样,它保证各类别的样本在切割后每一份小数据集中的比例都与原数据集中的比例相同.

# MLP for Pima Indians Dataset with 10-fold cross validation
from keras.models import Sequential
from keras.layers import Dense
from sklearn.model_selection import StratifiedKFold
import numpy
# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)
# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# define 10-fold cross validation test harness
kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=seed)
cvscores = []
for train, test in kfold.split(X, Y):
 # create model
  model = Sequential()
  model.add(Dense(12, input_dim=8, activation='relu'))
  model.add(Dense(8, activation='relu'))
  model.add(Dense(1, activation='sigmoid'))
  # Compile model
  model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
  # Fit the model
  model.fit(X[train], Y[train], epochs=150, batch_size=10, verbose=0)
  # evaluate the model
  scores = model.evaluate(X[test], Y[test], verbose=0)
  print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
  cvscores.append(scores[1] * 100)
print("%.2f%% (+/- %.2f%%)" % (numpy.mean(cvscores), numpy.std(cvscores)))

补充知识:训练集,验证集和测试集

训练集:通过最小化目标函数(损失函数 + 正则项),用来训练模型的参数。当目标函数最小化时,完成对模型的训练。

验证集:用来选择模型的阶数。目标函数最小的模型对应的阶数,为模型的最终选择的阶数。

注:

1. 验证集会在训练过程中,反复使用,机器学习中作为选择不同模型的评判标准,深度学习中作为选择网络层数和每层节点数的评判标准。

2. 验证集的使用并非必不可少,如果网络的层数和节点数已经确定,则不需要这一步操作。

测试集:评估模型的泛化能力。根据选择的已经训练好的模型,评估它的泛化能力。

注:

测试集评判的是最终训练好的模型的泛化能力,只进行一次评判。

以上这篇sklearn和keras的数据切分与交叉验证的实例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python条件和循环的使用方法
Nov 01 Python
Python中函数的多种格式和使用实例及小技巧
Apr 13 Python
Pyhthon中使用compileall模块编译源文件为pyc文件
Apr 28 Python
解决Python中字符串和数字拼接报错的方法
Oct 23 Python
Python与Java间Socket通信实例代码
Mar 06 Python
python生成每日报表数据(Excel)并邮件发送的实例
Feb 03 Python
python按键按住不放持续响应的实例代码
Jul 17 Python
python模块常用用法实例详解
Oct 17 Python
Python tkinter三种布局实例详解
Jan 06 Python
基于matplotlib xticks用法详解
Apr 16 Python
django 外键创建注意事项说明
May 20 Python
python制作图形界面的2048游戏, 基于tkinter
Apr 06 Python
Python虚拟环境的创建和包下载过程分析
Jun 19 #Python
通过实例解析python创建进程常用方法
Jun 19 #Python
keras model.fit 解决validation_spilt=num 的问题
Jun 19 #Python
为什么是 Python -m
Jun 19 #Python
Python 私有属性和私有方法应用场景分析
Jun 19 #Python
Python基于network模块制作电影人物关系图
Jun 19 #Python
keras中的History对象用法
Jun 19 #Python
You might like
php用正则表达式匹配中文实例详解
2013/11/06 PHP
php以post形式发送xml的方法
2014/11/04 PHP
mysql_escape_string()函数用法分析
2016/04/25 PHP
PHP目录操作实例总结
2016/09/27 PHP
php性能分析之php-fpm慢执行日志slow log用法浅析
2016/10/17 PHP
YII框架中搜索分页jQuery写法详解
2016/12/19 PHP
php 基础函数
2017/02/10 PHP
使用Zookeeper分布式部署PHP应用程序
2019/03/15 PHP
css把超出的部分显示为省略号的方法兼容火狐
2008/07/23 Javascript
javasctipt如何显示几分钟前、几天前等
2014/04/30 Javascript
js实现select跳转菜单新窗口效果代码分享(超简单)
2015/08/21 Javascript
基于JavaScript实现TAB标签效果
2016/01/12 Javascript
JavaScript获取当前url根目录(路径)
2016/06/17 Javascript
AngularJS 过滤器的简单实例
2016/07/27 Javascript
详解前后端分离之VueJS前端
2017/05/24 Javascript
Nodejs 和Session 原理及实战技巧小结
2017/08/25 NodeJs
使用JS location实现搜索框历史记录功能
2019/12/23 Javascript
js实现批量删除功能
2020/08/27 Javascript
使用Python装饰器在Django框架下去除冗余代码的教程
2015/04/16 Python
Python Django切换MySQL数据库实例详解
2019/07/16 Python
Python模块_PyLibTiff读取tif文件的实例
2020/01/13 Python
np.dot()函数的用法详解
2020/01/17 Python
python给图像加上mask,并提取mask区域实例
2020/01/19 Python
python读取图片的几种方式及图像宽和高的存储顺序
2020/02/11 Python
Python批量安装卸载1000个apk的方法
2020/04/10 Python
解决python使用list()时总是报错的问题
2020/05/05 Python
分享30个新鲜的CSS3打造的精美绚丽效果(附演示下载)
2012/12/28 HTML / CSS
BCBG官网:BCBGMAXAZRIA
2017/12/29 全球购物
外贸业务员求职自荐信分享
2013/09/21 职场文书
教师自荐信范文
2013/12/09 职场文书
80后职场人的职业生涯规划
2014/03/08 职场文书
技术负责人任命书
2014/06/05 职场文书
党员年终个人总结
2015/02/14 职场文书
2019年聘任书的写作格式及范文!
2019/07/03 职场文书
深入解析MySQL索引数据结构
2021/10/16 MySQL
vue的项目如何打包上线
2022/04/13 Vue.js