Kears 使用:通过回调函数保存最佳准确率下的模型操作

1：首先，我给我的MixTest文件夹里面分好了类的图片进行重命名（因为分类的时候没有注意导致命名有点不好）

def load_data(path):
 Rename the picture [a tool]
 for eachone in os.listdir(path):
  newname = eachone[7:]
  os.rename(path+"\\"+eachone,path+"\\"+newname)

但是需要注意的是：我们按照类重命名了以后，系统其实会按照图片来排序。这个时候你会看到同一个类的被排序在了一块。这个时候你不要慌张，其实这个顺序是完全不用担心的。我们只是需要得到网络对某一个图片的输出是怎么样的判断标签。这个顺序对网络计算其权重完全是没有任何的影响的

2：我在Keras中使用InceptionV3这个模型进行训练，训练模型的过程啥的我在这里就不详细说了（毕竟这个东西有点像随记那样的东西）

我们在Keras的模型里面是可以通过

H.history["val_acc"]
H.history["val_loss"]

来的得到历史交叉准确率这样的指标

3：

对于每个epoch，我们都会计算一次val_acc和val_loss，我很希望保留下我最高的val_acc的模型，那该怎么办呢？

这个时候我就会使用keras的callback函数

H = model.fit_generator(train_datagen.flow(X_train, Y_train, batch_size=batchsize),
  validation_data=(X_test, Y_test), steps_per_epoch=(X_train.shape[0]) // batchsize,
  epochs=epoch, verbose=1, callbacks=[tb(log_dir='E:\John\log'),
           save_function])

上面的参数先查查文档把。这里我就说说我的callbacks

callbacks=[tb(log_dir = 'E\John\log')]

这个是使用tensorboard来可视化训练过程的，后面是tensorboard的log输出文件夹的路径，在网络训练的时候，相对应的训练的状态就会保存在这个文件夹下

打开终端，输入

tensorboard --log_dir <your name of the log dir> --port <the port for tensorboard>

然后输入终端指示的网址在浏览器中打开，就可以在tensorboard中看到你训练的状态了

save_function:

这是一个类的实例化：

class Save(keras.callbacks.Callback):
 def __init__(self):
  self.max_acc = 0.0
 
 def on_epoch_begin(self, epoch, logs=None):
  pass
 
 def on_epoch_end(self, epoch, logs=None):
  self.val_acc = logs["val_acc"]
  if epoch != 0:
   if self.val_acc > self.max_acc and self.val_acc > 0.8:
    model.save("kears_model_"+str(epoch)+ "_acc="+str(self.val_acc)+".h5")
    self.max_acc = self.val_acc
 
save_function = Save()

这里继承了kears.callbacks.Callback

看看on_epoch_end：

在这个epoch结束的时候，我会得到它的val_acc

当这个val_acc为历史最大值的时候，我就保存这个模型

在训练结束以后，你就挑出acc最大的就好啦（当然，你可以命名为一样的，最后的到的模型就不用挑了，直接就是acc最大的模型了）

补充知识：Keras回调函数Callbacks使用详解及训练过程可视化

介绍

内容参考了keras中文文档

回调函数Callbacks

回调函数是一组在训练的特定阶段被调用的函数集，你可以使用回调函数来观察训练过程中网络内部的状态和统计信息。通过传递回调函数列表到模型的.fit()中，即可在给定的训练阶段调用该函数集中的函数。

【Tips】虽然我们称之为回调“函数”，但事实上Keras的回调函数是一个类，回调函数只是习惯性称呼

keras.callbacks.Callback()

这是回调函数的抽象类，定义新的回调函数必须继承自该类

类属性:

params：字典，训练参数集（如信息显示方法verbosity，batch大小，epoch数）

model：keras.models.Model对象，为正在训练的模型的引用

回调函数以字典logs为参数，该字典包含了一系列与当前batch或epoch相关的信息。

目前，模型的.fit()中有下列参数会被记录到logs中：

在每个epoch的结尾处（on_epoch_end），logs将包含训练的正确率和误差，acc和loss，如果指定了验证集，还会包含验证集正确率和误差val_acc)和val_loss，val_acc还额外需要在.compile中启用metrics=[‘accuracy']。

在每个batch的开始处（on_batch_begin）：logs包含size，即当前batch的样本数

在每个batch的结尾处（on_batch_end）：logs包含loss，若启用accuracy则还包含acc

from keras.callbacks import Callback

功能

History（训练可视化）

keras.callbacks.History()

该回调函数在Keras模型上会被自动调用，History对象即为fit方法的返回值,可以使用history中的存储的acc和loss数据对训练过程进行可视化画图，代码样例如下：

history=model.fit(X_train, Y_train, validation_data=(X_test,Y_test),
 batch_size=16, epochs=20)
##或者
#history=model.fit(X_train,y_train,epochs=40,callbacks=callbacks, batch_size=32,validation_data=(X_test,y_test)) 
fig1, ax_acc = plt.subplots()
plt.plot(history.history['accuracy'])
plt.plot(history.history['val_accuracy'])
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.title('Model - Accuracy')
plt.legend(['Training', 'Validation'], loc='lower right')
plt.show()

fig2, ax_loss = plt.subplots()
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Model- Loss')
plt.legend(['Training', 'Validation'], loc='upper right')
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.show()

EarlyStopping

keras.callbacks.EarlyStopping(monitor='val_loss', patience=0, verbose=0, mode='auto')

当监测值不再改善时，该回调函数将中止训练

参数

monitor：需要监视的量

patience：当early stop被激活（如发现loss相比上一个epoch训练没有下降），则经过patience个epoch后停止训练。

verbose：信息展示模式

verbose = 0 为不在标准输出流输出日志信息

verbose = 1 为输出进度条记录

verbose = 2 为每个epoch输出一行记录

默认为 1

mode：‘auto'，‘min'，‘max'之一，在min模式下，如果检测值停止下降则中止训练。在max模式下，当检测值不再上升则停止训练。

ModelCheckpoint

该回调函数将在每个epoch后保存模型到filepath

filepath可以是格式化的字符串，里面的占位符将会被epoch值和传入on_epoch_end的logs关键字所填入

例如，filepath若为weights.{epoch:02d-{val_loss:.2f}}.hdf5，则会生成对应epoch和验证集loss的多个文件。

参数

filename：字符串，保存模型的路径

monitor：需要监视的值

verbose：信息展示模式，0或1

save_best_only：当设置为True时，将只保存在验证集上性能最好的模型

mode：‘auto'，‘min'，‘max'之一，在save_best_only=True时决定性能最佳模型的评判准则，例如，当监测值为val_acc时，模式应为max，当检测值为val_loss时，模式应为min。在auto模式下，评价准则由被监测值的名字自动推断。

save_weights_only：若设置为True，则只保存模型权重，否则将保存整个模型（包括模型结构，配置信息等）

period：CheckPoint之间的间隔的epoch数

Callbacks中可以同时使用多个以上两个功能,举例如下

callbacks = [EarlyStopping(monitor='val_loss', patience=8),
    ModelCheckpoint(filepath='best_model.h5', monitor='val_loss', save_best_only=True)]
history=model.fit(X_train, y_train,epochs=40,callbacks=callbacks, batch_size=32,validation_data=(X_test,y_test))

在样例中，EarlyStopping设置衡量标注为val_loss，如果其连续4次没有下降就提前停止 ,ModelCheckpoint设置衡量标准为val_loss，设置只保存最佳模型，保存路径为best——model.h5

ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

当评价指标不在提升时，减少学习率

当学习停滞时，减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况，如果在patience个epoch中看不到模型性能提升，则减少学习率

参数

monitor：被监测的量 factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少

patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发

mode：‘auto'，‘min'，‘max'之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。

epsilon：阈值，用来确定是否进入检测值的“平原区”

cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作 min_lr：学习率的下限

使用样例如下：

callbacks_test = [
 keras.callbacks.ReduceLROnPlateau(
 #以val_loss作为衡量标准
 monitor='val_loss',
 # 学习率乘以factor
 factor=0.1,
 # It will get triggered after the validation loss has stopped improving
 # 当被检测的衡量标准经过几次没有改善后就减小学习率
 patience=10,
 )
 ]
 model.fit(x, y,epochs=20,batch_size=16,
  callbacks=callbacks_test,
 validation_data=(x_val, y_val))

CSVLogger

keras.callbacks.CSVLogger(filename, separator=',', append=False)

将epoch的训练结果保存在csv文件中，支持所有可被转换为string的值，包括1D的可迭代数值如np.ndarray.

参数

fiename：保存的csv文件名，如run/log.csv

separator：字符串，csv分隔符

append：默认为False，为True时csv文件如果存在则继续写入，为False时总是覆盖csv文件

以上这篇Kears 使用:通过回调函数保存最佳准确率下的模型操作就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持三水点靠木。