tensorflow2.0教程之Keras快速入门


Posted in Python onFebruary 20, 2021

Keras 是一个用于构建和训练深度学习模型的高阶 API。它可用于快速设计原型、高级研究和生产。 keras的3个优点:
方便用户使用、模块化和可组合、易于扩展

1.导入tf.keras

tensorflow2推荐使用keras构建网络,常见的神经网络都包含在keras.layer中(最新的tf.keras的版本可能和keras不同)

import tensorflow as tf
from tensorflow.keras import layers
print(tf.__version__)
print(tf.keras.__version__)

2.构建简单模型

2.1模型堆叠

最常见的模型类型是层的堆叠:tf.keras.Sequential 模型

model = tf.keras.Sequential()
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))

2.2网络配置

tf.keras.layers中网络配置:

activation:设置层的激活函数。此参数由内置函数的名称指定,或指定为可调用对象。默认情况下,系统不会应用任何激活函数。

kernel_initializer 和 bias_initializer:创建层权重(核和偏差)的初始化方案。此参数是一个名称或可调用对象,默认为 “Glorot uniform” 初始化器。

kernel_regularizer 和 bias_regularizer:应用层权重(核和偏差)的正则化方案,例如 L1 或 L2 正则化。默认情况下,系统不会应用正则化函数。

layers.Dense(32, activation='sigmoid')
layers.Dense(32, activation=tf.sigmoid)
layers.Dense(32, kernel_initializer='orthogonal')
layers.Dense(32, kernel_initializer=tf.keras.initializers.glorot_normal)
layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l2(0.01))
layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l1(0.01))

3.训练和评估

3.1设置训练流程

构建好模型后,通过调用 compile 方法配置该模型的学习流程:

model = tf.keras.Sequential()
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
       loss=tf.keras.losses.categorical_crossentropy,
       metrics=[tf.keras.metrics.categorical_accuracy])

3.2输入Numpy数据

import numpy as np

train_x = np.random.random((1000, 72))
train_y = np.random.random((1000, 10))

val_x = np.random.random((200, 72))
val_y = np.random.random((200, 10))

model.fit(train_x, train_y, epochs=10, batch_size=100,
     validation_data=(val_x, val_y))

3.3tf.data输入数据

dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))
dataset = dataset.batch(32)
dataset = dataset.repeat()
val_dataset = tf.data.Dataset.from_tensor_slices((val_x, val_y))
val_dataset = val_dataset.batch(32)
val_dataset = val_dataset.repeat()

model.fit(dataset, epochs=10, steps_per_epoch=30,
     validation_data=val_dataset, validation_steps=3)

3.4评估与预测

test_x = np.random.random((1000, 72))
test_y = np.random.random((1000, 10))
model.evaluate(test_x, test_y, batch_size=32)
test_data = tf.data.Dataset.from_tensor_slices((test_x, test_y))
test_data = test_data.batch(32).repeat()
model.evaluate(test_data, steps=30)
# predict
result = model.predict(test_x, batch_size=32)
print(result)

4.构建高级模型

4.1函数式api

tf.keras.Sequential 模型是层的简单堆叠,无法表示任意模型。使用 Keras 函数式 API 可以构建复杂的模型拓扑,例如:

多输入模型,

多输出模型,

具有共享层的模型(同一层被调用多次),

具有非序列数据流的模型(例如,残差连接)。

使用函数式 API 构建的模型具有以下特征:

层实例可调用并返回张量。

输入张量和输出张量用于定义 tf.keras.Model 实例。

此模型的训练方式和 Sequential 模型一样。

input_x = tf.keras.Input(shape=(72,))
hidden1 = layers.Dense(32, activation='relu')(input_x)
hidden2 = layers.Dense(16, activation='relu')(hidden1)
pred = layers.Dense(10, activation='softmax')(hidden2)

model = tf.keras.Model(inputs=input_x, outputs=pred)
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
       loss=tf.keras.losses.categorical_crossentropy,
       metrics=['accuracy'])
model.fit(train_x, train_y, batch_size=32, epochs=5)

4.2模型子类化

通过对 tf.keras.Model 进行子类化并定义您自己的前向传播来构建完全可自定义的模型。在 init 方法中创建层并将它们设置为类实例的属性。在 call 方法中定义前向传播

class MyModel(tf.keras.Model):
  def __init__(self, num_classes=10):
    super(MyModel, self).__init__(name='my_model')
    self.num_classes = num_classes
    self.layer1 = layers.Dense(32, activation='relu')
    self.layer2 = layers.Dense(num_classes, activation='softmax')
  def call(self, inputs):
    h1 = self.layer1(inputs)
    out = self.layer2(h1)
    return out
  
  def compute_output_shape(self, input_shape):
    shape = tf.TensorShapej(input_shape).as_list()
    shape[-1] = self.num_classes
    return tf.TensorShape(shape)

model = MyModel(num_classes=10)
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
       loss=tf.keras.losses.categorical_crossentropy,
       metrics=['accuracy'])

model.fit(train_x, train_y, batch_size=16, epochs=5)

4.3自定义层

通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层:

build:创建层的权重。使用 add_weight 方法添加权重。

call:定义前向传播。

compute_output_shape:指定在给定输入形状的情况下如何计算层的输出形状。
或者,可以通过实现 get_config 方法和 from_config 类方法序列化层。

class MyLayer(layers.Layer):
  def __init__(self, output_dim, **kwargs):
    self.output_dim = output_dim
    super(MyLayer, self).__init__(**kwargs)
  
  def build(self, input_shape):
    shape = tf.TensorShape((input_shape[1], self.output_dim))
    self.kernel = self.add_weight(name='kernel1', shape=shape,
                  initializer='uniform', trainable=True)
    super(MyLayer, self).build(input_shape)
  
  def call(self, inputs):
    return tf.matmul(inputs, self.kernel)

  def compute_output_shape(self, input_shape):
    shape = tf.TensorShape(input_shape).as_list()
    shape[-1] = self.output_dim
    return tf.TensorShape(shape)

  def get_config(self):
    base_config = super(MyLayer, self).get_config()
    base_config['output_dim'] = self.output_dim
    return base_config

  @classmethod
  def from_config(cls, config):
    return cls(**config)
  
model = tf.keras.Sequential(
[
  MyLayer(10),
  layers.Activation('softmax')
])


model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
       loss=tf.keras.losses.categorical_crossentropy,
       metrics=['accuracy'])

model.fit(train_x, train_y, batch_size=16, epochs=5)

4.3回调

callbacks = [
  tf.keras.callbacks.EarlyStopping(patience=2, monitor='val_loss'),
  tf.keras.callbacks.TensorBoard(log_dir='./logs')
]
model.fit(train_x, train_y, batch_size=16, epochs=5,
     callbacks=callbacks, validation_data=(val_x, val_y))

5保持和恢复

5.1权重保存

model = tf.keras.Sequential([
layers.Dense(64, activation='relu'),
layers.Dense(10, activation='softmax')])

model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
       loss='categorical_crossentropy',
       metrics=['accuracy'])

model.save_weights('./weights/model')
model.load_weights('./weights/model')
model.save_weights('./model.h5')
model.load_weights('./model.h5')

5.2保存网络结构

# 序列化成json
import json
import pprint
json_str = model.to_json()
pprint.pprint(json.loads(json_str))
fresh_model = tf.keras.models.model_from_json(json_str)


# 保持为yaml格式 #需要提前安装pyyaml

yaml_str = model.to_yaml()
print(yaml_str)
fresh_model = tf.keras.models.model_from_yaml(yaml_str)

5.3保存整个模型

model = tf.keras.Sequential([
 layers.Dense(10, activation='softmax', input_shape=(72,)),
 layers.Dense(10, activation='softmax')
])
model.compile(optimizer='rmsprop',
       loss='categorical_crossentropy',
       metrics=['accuracy'])
model.fit(train_x, train_y, batch_size=32, epochs=5)
model.save('all_model.h5')
model = tf.keras.models.load_model('all_model.h5')

6.将keras用于Estimator

Estimator API 用于针对分布式环境训练模型。它适用于一些行业使用场景,例如用大型数据集进行分布式训练并导出模型以用于生产

model = tf.keras.Sequential([layers.Dense(10,activation='softmax'),
             layers.Dense(10,activation='softmax')])

model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
       loss='categorical_crossentropy',
       metrics=['accuracy'])

estimator = tf.keras.estimator.model_to_estimator(model)

到此这篇关于tensorflow2.0教程之Keras快速入门的文章就介绍到这了,更多相关Keras快速入门内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python数据结构之二叉树的建立实例
Apr 29 Python
Python格式化css文件的方法
Mar 10 Python
深入理解Python中命名空间的查找规则LEGB
Aug 06 Python
python实现二分查找算法
Sep 21 Python
Python实现简单的HttpServer服务器示例
Sep 25 Python
目前最全的python的就业方向
Jun 05 Python
Python 获取中文字拼音首个字母的方法
Nov 28 Python
Python从单元素字典中获取key和value的实例
Dec 31 Python
pyqt5移动鼠标显示坐标的方法
Jun 21 Python
Python 通过截图匹配原图中的位置(opencv)实例
Aug 27 Python
Python MongoDB 插入数据时已存在则不执行,不存在则插入的解决方法
Sep 24 Python
分享提高 Python 代码的可读性的技巧
Mar 03 Python
在Pycharm中安装Pandas库方法(简单易懂)
Feb 20 #Python
Python3爬虫RedisDump的安装步骤
Feb 20 #Python
python爬取2021猫眼票房字体加密实例
Feb 19 #Python
Python之Sklearn使用入门教程
Feb 19 #Python
Python爬虫UA伪装爬取的实例讲解
Feb 19 #Python
Pycharm制作搞怪弹窗的实现代码
Feb 19 #Python
python 高阶函数简单介绍
Feb 19 #Python
You might like
PHP 清空varnish 缓存的详解(包括指定站点下的)
2013/06/20 PHP
JQuery Tab选项卡效果代码改进版
2010/04/01 Javascript
jquery插件珍藏(图片局部放大/信息提示框)
2013/01/08 Javascript
有关javascript的性能优化 (repaint和reflow)
2013/04/12 Javascript
三种方式获取XMLHttpRequest对象
2014/04/21 Javascript
node模块机制与异步处理详解
2016/03/13 Javascript
原生js封装的一些jquery方法(详解)
2016/09/20 Javascript
详细分析单线程JS执行问题
2017/11/22 Javascript
详解vue-loader在项目中是如何配置的
2018/06/04 Javascript
vue加载完成后的回调函数方法
2018/09/07 Javascript
使用jQuery动态设置单选框的选中效果
2018/12/06 jQuery
微信小程序dom操作的替代思路实例分析
2018/12/06 Javascript
让Vue响应Map或Set的变化操作
2020/11/11 Javascript
JS实现超级好看的鼠标小尾巴特效
2020/12/01 Javascript
JavaScript实现通讯录功能
2020/12/27 Javascript
Nodejs实现微信分账的示例代码
2021/01/19 NodeJs
python实现搜索指定目录下文件及文件内搜索指定关键词的方法
2015/06/28 Python
结合Python的SimpleHTTPServer源码来解析socket通信
2016/06/27 Python
Python类中的装饰器在当前类中的声明与调用详解
2020/04/15 Python
python -v 报错问题的解决方法
2020/09/15 Python
Python对excel的基本操作方法
2021/02/18 Python
HTML5触摸事件演化tap事件介绍
2016/03/25 HTML / CSS
html5 canvas简单封装一个echarts实现不了的饼图
2018/06/12 HTML / CSS
Kenneth Cole官网:纽约时尚优雅品牌
2016/11/14 全球购物
New Balance德国官方网站:购买鞋子和服装
2019/08/31 全球购物
亚洲在线旅行门户网站:Expedia.com.hk(智游网)
2020/04/14 全球购物
描述内存分配方式以及它们的区别
2016/10/15 面试题
教师的实习自我鉴定
2013/12/17 职场文书
开会迟到检讨书
2014/02/03 职场文书
会计岗位职责范本
2014/03/07 职场文书
七匹狼男装广告词
2014/03/21 职场文书
爱护公共设施倡议书
2014/08/29 职场文书
群众路线教育查摆剖析材料
2014/10/10 职场文书
二手车交易协议书标准版
2014/11/16 职场文书
工作后的感想
2015/08/07 职场文书
用JS创建一个录屏功能
2021/11/11 Javascript