Tensorflow轻松实现XOR运算的方式


Posted in Python onFebruary 03, 2020

对于“XOR”大家应该都不陌生,我们在各种课程中都会遇到,它是一个数学逻辑运算符号,在计算机中表示为“XOR”,在数学中表示为“Tensorflow轻松实现XOR运算的方式”,学名为“异或”,其来源细节就不详细表明了,说白了就是两个a、b两个值做异或运算,若a=b则结果为0,反之为1,即“相同为0,不同为1”.

在计算机早期发展中,逻辑运算广泛应用于电子管中,这一点如果大家学习过微机原理应该会比较熟悉,那么在神经网络中如何实现它呢,早先我们使用的是感知机,可理解为单层神经网络,只有输入层和输出层(在吴恩达老师的系列教程中曾提到过这一点,关于神经网络的层数,至今仍有异议,就是说神经网络的层数到底包不包括输入层,现今多数认定是不包括的,我们常说的N层神经网络指的是隐藏层+输出层),但是感知机是无法实现XOR运算的,简单来说就是XOR是线性不可分的,由于感知机是有输入输出层,无法线性划分XOR区域,于是后来就有了使用多层神经网络来解决这一问题的想法~~

关于多层神经网络实现XOR运算可大致这么理解:

Tensorflow轻松实现XOR运算的方式

两个输入均有两个取值0和1,那么组合起来就有四种可能,即[0,0]、[0,1]、[1,0]、[1,1],这样就可以通过中间的隐藏层进行异或运算了~

咱们直接步入正题吧,对于此次试验我们只需要一个隐藏层即可,关于神经网络 的基础知识建议大家去看一下吴恩达大佬的课程,真的很棒,百看不厌,真正的大佬是在认定学生是绝对小白的前提下去讲解的,所以一般人都能听懂~~接下来的图纯手工操作,可能不是那么准确,但中心思想是没有问题的,我们开始吧:

Tensorflow轻松实现XOR运算的方式

上图是最基本的神经网络示意图,有两个输入x1、x2,一个隐藏层,只有一个神经元,然后有个输出层,这就是最典型的“输入层+隐藏层+输出层”的架构,对于本题目,我们的输入和输出以及整体架构如下图所示:

Tensorflow轻松实现XOR运算的方式

输入量为一个矩阵,0和0异或结果为0,0和1异或结果为1,依次类推,对应我们的目标值为[0,1,1,0],最后之所以用约等号是因为我们的预测值与目标值之间会有一定的偏差,如果训练的好那么这二者之间是无限接近的。

我们直接上全部代码吧,就不分步进行了,以为这个实验本身难度较低,且代码注释很清楚,每一步都很明确,如果大家有什么不理解的可以留言给我,看到必回:

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
 
import numpy as np
import tensorflow as tf
 
#定义输入值与目标值
X=np.array([[0,0],[0,1],[1,0],[1,1]])
Y=np.array([[0],[1],[1],[0]])
 
#定义占位符,从输入或目标中按行取数据
x=tf.placeholder(tf.float32,[None,2])
y=tf.placeholder(tf.float32,[None,1])
 
#初始化权重,使其满足正态分布,w1和w2分别为输入层到隐藏层和隐藏层到输出层的权重矩阵
w1=tf.Variable(tf.random_normal([2,2]))
w2=tf.Variable(tf.random_normal([2,1]))
 
#定义b1和b2,分别为隐藏层和输出层的偏移量
b1=tf.Variable([0.1,0.1])
b2=tf.Variable([0.1])
 
#使用Relu激活函数得到隐藏层的输出值
a=tf.nn.relu(tf.matmul(x,w1)+b1)
 
#输出层不用激活函数,直接获得其值
out=tf.matmul(a,w2)+b2
 
#定义损失函数MSE
loss=tf.reduce_mean(tf.square(out-y))
 
#优化器选择Adam
train=tf.train.AdamOptimizer(0.01).minimize(loss)
 
#开始训练,迭代1001次(方便后边的整数步数显示)
with tf.Session() as session:
  session.run(tf.global_variables_initializer()) #初始化变量
  for i in range(1001):
    session.run(train,feed_dict={x:X,y:Y}) #训练模型
    loss_final=session.run(loss,feed_dict={x:X,y:Y}) #获取损失
    if i%100==0:
      print("step:%d   loss:%2f" % (i,loss_final))
  print("X: %r" % X)
  print("pred_out: %r" % session.run(out,feed_dict={x:X}))

对照第三张图片理解代码更加直观,我们的隐藏层神经元功能就是将输入值和相应权重做矩阵乘法,然后加上偏移量,最后使用激活函数进行非线性转换;而输出层没有用到激活函数,因为本次我们不是进行分类或者其他操作,一般情况下隐藏层使用激活函数Relu,输出层若是分类则用sigmode,当然你也可以不用,本次实验只是单纯地做异或运算,那输出层就不劳驾激活函数了~

对于标准神经元内部的操作可理解为下图:

Tensorflow轻松实现XOR运算的方式

这里的x和w一般写成矩阵形式,因为大多数都是多个输入,而矩阵的乘积要满足一定的条件,这一点属于线代中最基础的部分,大家可以稍微了解一下,这里对设定权重的形状还是很重要的;

看下效果吧:

Tensorflow轻松实现XOR运算的方式

这是我们在学习率为0.1,迭代1001次的条件下得到的结果

然后我们学习率不变,迭代2001次,看效果:

Tensorflow轻松实现XOR运算的方式

没有改进,这就说明不是迭代次数的问题,我们还是保持2001的迭代数,将学习率改为0.01,看效果:

Tensorflow轻松实现XOR运算的方式

完美~~~最后损失降为0了~~一般来说,神经网络中的超参中最重要的就是学习率了,如果损失一直降不下来,我们首先要想到修改学习率,其他的超参次之……

大家可以观察一下我们的预测值,四项分别对应[0,1,1,0],已经是相当接近了……

以上这篇Tensorflow轻松实现XOR运算的方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现斐波那契递归函数的方法
Sep 08 Python
Python3.6简单操作Mysql数据库
Sep 12 Python
ubuntu安装sublime3并配置python3环境的方法
Mar 15 Python
解决pycharm运行时interpreter为空的问题
Oct 29 Python
python 模拟贷款卡号生成规则过程解析
Aug 30 Python
python 实现图片上传接口开发 并生成可以访问的图片url
Dec 18 Python
python数据库操作mysql:pymysql、sqlalchemy常见用法详解
Mar 30 Python
Django 5种类型Session使用方法解析
Apr 29 Python
基于python实现简单C/S模式代码实例
Sep 14 Python
Django中和时区相关的安全问题详解
Oct 12 Python
Python环境搭建过程从安装到Hello World
Feb 05 Python
Python对excel的基本操作方法
Feb 18 Python
Tensorflow不支持AVX2指令集的解决方法
Feb 03 #Python
基于Python3.6中的OpenCV实现图片色彩空间的转换
Feb 03 #Python
解决Tensorflow 使用时cpu编译不支持警告的问题
Feb 03 #Python
tensorflow2.0保存和恢复模型3种方法
Feb 03 #Python
详解字符串在Python内部是如何省内存的
Feb 03 #Python
python自动化unittest yaml使用过程解析
Feb 03 #Python
Python类如何定义私有变量
Feb 03 #Python
You might like
2020显卡排行榜天梯图 显卡天梯图2020年3月最新版
2020/04/02 数码科技
php 删除记录实现代码
2009/03/12 PHP
thinkphp使用phpmailer发送邮件的方法
2014/11/24 PHP
Symfony的安装和配置方法
2016/03/17 PHP
PHP中使用foreach()遍历二维数组的简单实例
2016/06/13 PHP
Swoole 5将移除自动添加Event::wait()特性详解
2019/07/10 PHP
PDO实现学生管理系统
2020/03/21 PHP
NodeJS框架Express的模板视图机制分析
2011/07/19 NodeJs
使用js如何实现全选与全不选
2013/12/30 Javascript
JS正则表达式验证数字代码
2014/01/28 Javascript
jquery组件使用中遇到的问题整理及解决
2014/02/21 Javascript
JQuery日历插件My97DatePicker日期范围限制
2016/01/20 Javascript
vue2的todolist入门小项目的详细解析
2017/05/11 Javascript
Vue2.x中的Render函数详解
2017/05/30 Javascript
浅谈js基础数据类型和引用类型,深浅拷贝问题,以及内存分配问题
2017/09/02 Javascript
elementUI中Table表格问题的解决方法
2018/12/04 Javascript
VScode格式化ESlint方法(最全最好用方法)
2019/09/10 Javascript
Vue 实现点击空白处隐藏某节点的三种方式(指令、普通、遮罩)
2019/10/23 Javascript
js实现随机点名程序
2020/09/17 Javascript
使用TS来编写express服务器的方法步骤
2020/10/29 Javascript
Python使用MySQLdb for Python操作数据库教程
2014/10/11 Python
python通过exifread模块获得图片exif信息的方法
2015/03/16 Python
Python存取XML的常见方法实例分析
2017/03/21 Python
JavaScript中的模拟事件和自定义事件实例分析
2018/07/27 Python
Python实现微信消息防撤回功能的实例代码
2019/04/29 Python
python文件处理fileinput使用方法详解
2020/01/02 Python
模具专业毕业推荐信
2014/03/08 职场文书
恶搞卫生巾广告词
2014/03/18 职场文书
公证委托书模板
2014/04/03 职场文书
迎七一演讲稿
2014/09/12 职场文书
大学生党员个人总结
2015/02/13 职场文书
小学班主任个人总结
2015/03/03 职场文书
后天观后感
2015/06/08 职场文书
幼儿园亲子活动感想
2015/08/07 职场文书
SpringBoot集成Redis,并自定义对象序列化操作
2021/06/22 Java/Android
详解Spring Security中的HttpBasic登录验证模式
2022/03/17 Java/Android