TensorFlow keras卷积神经网络 添加L2正则化方式


Posted in Python onMay 22, 2020

我就废话不多说了,大家还是直接看代码吧!

model = keras.models.Sequential([
 #卷积层1
 keras.layers.Conv2D(32,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
 #池化层1
 keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
 #卷积层2
 keras.layers.Conv2D(64,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu),
 #池化层2
 keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
 #数据整理
 keras.layers.Flatten(),
 #1024个,全连接层
 keras.layers.Dense(1024,activation=tf.nn.relu),
 #100个,全连接层
 keras.layers.Dense(100,activation=tf.nn.softmax)
 ])
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
 
from tensorflow.python.keras.datasets import cifar100
from tensorflow.python import keras
import tensorflow as tf
 
class CNNMnist(object):
 
 model = keras.models.Sequential([
 #卷积层1
 keras.layers.Conv2D(32,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
 #池化层1
 keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
 #卷积层2
 keras.layers.Conv2D(64,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu),
 #池化层2
 keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
 #数据整理
 keras.layers.Flatten(),
 #1024个,全连接层
 keras.layers.Dense(1024,activation=tf.nn.relu),
 #100个,全连接层
 keras.layers.Dense(100,activation=tf.nn.softmax)
 ])
 
 def __init__(self):
 (self.x_train,self.y_train),(self.x_test,self.y_test) = cifar100.load_data()
 
 self.x_train = self.x_train/255.0
 self.x_test = self.x_test/255.0
 
 
 def compile(self):
 CNNMnist.model.compile(optimizer=keras.optimizers.Adam(),loss=keras.losses.sparse_categorical_crossentropy,metrics=["accuracy"])
 
 def fit(self):
 CNNMnist.model.fit(self.x_train,self.y_train,epochs=1,batch_size=32)
 
 def evaluate(self):
 test_loss,test_acc = CNNMnist.model.evaluate(self.x_test,self.y_test)
 print(test_loss,test_acc)
 
if __name__ == '__main__':
 cnn = CNNMnist()
 print(CNNMnist.model.summary())
 cnn.compile()
 cnn.fit()

补充知识:初步了解TensorFlow如何实现正则化

为了避免过拟合问题,一个非常常用的方法是正则化(regularization),正则化的思想就是在损失函数中加入刻画模型复杂程度的指标。

假设用于刻画模型在训练数据上表现的损失函数为J(θ),那么在优化时不是直接优化J(θ),而是优化J(θ) + λR(w),其中R(w)刻画的是模型的复杂程度,而λ表示模型复杂损失在总损失中的比例,需要注意的是,这里的θ表示的是一个神经网络中所有的参数,它包括边上的权重w和偏置项b,但一般来说模型复杂度只由权重w决定。

常用的刻画模型复杂度的函数R(w)有两种,一种是L1正则化,计算公式是:

TensorFlow keras卷积神经网络 添加L2正则化方式

另一种是L2正则化,计算公式是:

TensorFlow keras卷积神经网络 添加L2正则化方式

TensorFlow可以优化任意形式的损失函数,所以TensorFlow自然也可以优化带正则化的损失函数。

L1正则化和L2正则化,在TensorFlow中分别以不同的函数实现它们,以下列代码为示例:

#含有L1正则化的损失函数:
loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l1_regularizer(λ)(w)

#含有L2正则化的损失函数:
loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l2_regularizer(λ)(w)

loss为定义的损失函数,它由两个部分组成,第一个部分是均方误差损失函数,它刻画了模型在训练数据上的表现,第二个部分就是正则化,它防止模型过度模拟训练数据中的随机噪音;

λ表示了正则化项的权重,w为需要计算正则化损失的参数。

TensorFlow提供了tf.contrib.layers.l1_regularizer函数和tf.contrib.layers.l2_regularizer函数用来计算L1正则化和L2正则化,通过以下代码给出使用两个函数的样例:

import tensorflow as tf
weights = tf.constant([[1.0, -2.0], [-3.0, 4.0]])
with tf.Session() as sess:
 #计算结果为5.0
 print(sess.run(tf.contrib.layers.l1_regularizer(0.5)(weights)))
 #计算结果为15 * 1/2 = 7.5,L2正则化乘以1/2可以方便求导
 print(sess.run(tf.contrib.layers.l2_regularizer(0.5)(weights)))

在简单的神经网络中,这样的方式就可以很好地计算带正则化的损失函数了,但当神经网络的参数增多之后,这样的方式首先可能导致损失函数loss的定义很长,可读性差且容易出错,更主要的是,当网络结构复杂之后定义网络结构的部分和计算损失函数的部分可能不在同一个函数中,这样通过变量这种方式计算损失函数就不方便了。

为了解决这个问题,可以使用TensorFlow中提供的集合(collection)来维护需要计算的正则化损失,以下列代码为示例给出通过集合计算一个5层神经网络带L2正则化的损失函数的计算方法:

import tensorflow as tf

#获取一层神经网络边上的权重,并将这个权重的L2正则化损失加入名称为losses的集合中
def get_weight(shape, r):
 #生成一个变量
 var = tf.Variable(tf.random_normal(shape, stddev=1, seed=1), dtype=tf.float32)
 '''add_to_collection函数将这个新生成变量的L2正则化损失项加入集合
 这个函数的第一个参数losses是集合的名字,第二个参数是要加入这个集合的内容'''
 tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(r)(var))
 return var

x = tf.placeholder(tf.float32, shape=(None, 2))
y_ = tf.placeholder(tf.float32, shape=(None, 1))

#定义了每一层网络中节点的个数
layer_dimension = [2, 10, 10, 10, 1]
#神经网络的层数
n_layers = len(layer_dimension)

#这个变量维护前向传播时最深层的节点,开始的时候就是输入层
cur_layer = x
#in_dimension为当前层的节点个数
in_dimension = layer_dimension[0]

#通过一个循环来生成5层全连接的神经网络结构
for i in range(1, n_layers):
 #out_dimension为下一层的节点个数
 out_dimension = layer_dimension[i]
 #生成当前层中权重的变量,并将这个变量的L2正则化损失加入losses集合
 weight = get_weight([in_dimension, out_dimension], 0.001)
 bias = tf.Variable(tf.fill([1, out_dimension], 0.1))
 #使用ReLU激活函数
 cur_layer = tf.nn.relu(tf.matmul(cur_layer, weight) + bias)
 #进入下一层之前将下一层的节点个数更新为当前层节点个数
 in_dimension = out_dimension

'''在定义神经网络前向传播的同时已经将所有的L2正则化损失加入了losses集合
这里只需要计算刻画模型在训练数据上表现的损矣函数。'''
mse_loss = tf.reduce_mean(tf.square(y_ - cur_layer))

#将均方误差损失函数加入损失集合
tf.add_to_collection('losses', mse_loss)

'''get_collection返回一个列表,这个列表包含所有这个集合中的元素
在这个样例中这些元素就是损失函数的不同部分,将它们加起来就可以得到最终的损失函数。'''
loss = tf.add_n(tf.get_collection('losses'))

以上这篇TensorFlow keras卷积神经网络 添加L2正则化方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
零基础写python爬虫之urllib2使用指南
Nov 05 Python
使用rst2pdf实现将sphinx生成PDF
Jun 07 Python
手把手教你如何安装Pycharm(详细图文教程)
Nov 28 Python
在pycharm上mongodb配置及可视化设置方法
Nov 30 Python
Python Flask框架模板操作实例分析
May 03 Python
python查找重复图片并删除(图片去重)
Jul 16 Python
python实现windows倒计时锁屏功能
Jul 30 Python
python 使用pdfminer3k 读取PDF文档的例子
Aug 27 Python
基于python 将列表作为参数传入函数时的测试与理解
Jun 05 Python
Python排序函数的使用方法详解
Dec 11 Python
Python爬虫数据的分类及json数据使用小结
Mar 29 Python
Python词云的正确实现方法实例
May 08 Python
Django 如何使用日期时间选择器规范用户的时间输入示例代码详解
May 22 #Python
python实现猜单词游戏
May 22 #Python
Django使用rest_framework写出API
May 21 #Python
使用keras根据层名称来初始化网络
May 21 #Python
关于Keras Dense层整理
May 21 #Python
Django如何使用redis作为缓存
May 21 #Python
如何打包Python Web项目实现免安装一键启动的方法
May 21 #Python
You might like
Linux下 php5 MySQL5 Apache2 phpMyAdmin ZendOptimizer安装与配置[图文]
2008/11/18 PHP
php使用正则表达式提取字符串中尖括号、小括号、中括号、大括号中的字符串
2020/04/05 PHP
php生成二维码时出现中文乱码的解决方法
2014/12/18 PHP
PHP receiveMail实现收邮件功能
2018/04/25 PHP
使用tp框架和SQL语句查询数据表中的某字段包含某值
2019/10/18 PHP
PHP图像处理 imagestring添加图片水印与文字水印操作示例
2020/02/06 PHP
简单的JS多重继承示例
2008/03/13 Javascript
JavaScript中split() 使用方法汇总
2015/04/17 Javascript
jQuery中deferred对象使用方法详解
2016/07/14 Javascript
JavaScript省市区三级联动菜单效果
2016/09/21 Javascript
vue.js开发环境搭建教程
2017/05/04 Javascript
微信小程序项目总结之点赞 删除列表 分享功能
2018/06/25 Javascript
Vue Prop属性功能与用法实例详解
2019/02/23 Javascript
layer的prompt弹出框,点击回车,触发确定事件的方法
2019/09/06 Javascript
解决layer弹出层自适应页面大小的问题
2019/09/16 Javascript
微信小程序以7天为周期连续签到7天功能效果的示例代码
2020/08/20 Javascript
Python设计模式之单例模式实例
2014/04/26 Python
Python中optionParser模块的使用方法实例教程
2014/08/29 Python
Python实现导出数据生成excel报表的方法示例
2017/07/12 Python
Python Flask基础教程示例代码
2018/02/07 Python
python 中文件输入输出及os模块对文件系统的操作方法
2018/08/27 Python
如何在Django配置文件里配置session链接
2019/08/06 Python
python如何通过闭包实现计算器的功能
2020/02/22 Python
Django Admin后台添加数据库视图过程解析
2020/04/01 Python
Python导入父文件夹中模块并读取当前文件夹内的资源
2020/11/19 Python
python空元组在all中返回结果详解
2020/12/15 Python
详解HTML5 录音的踩坑之旅
2017/12/26 HTML / CSS
Urban Outfitters美国官网:美国生活方式品牌
2016/08/26 全球购物
Alba Moda瑞士网上商店:独家意大利时尚女装销售
2016/11/28 全球购物
武汉东之林科技有限公司机试
2013/09/17 面试题
三下乡活动方案
2014/01/31 职场文书
新年晚会主持词
2014/03/24 职场文书
《海底世界》教学反思
2014/04/16 职场文书
《谁的本领大》教后反思
2014/04/25 职场文书
关于环保的活动方案
2014/08/25 职场文书
2014年话务员工作总结
2014/11/19 职场文书