python 学习GCN图卷积神经网络

图卷积神经网络涉及到图信号处理的相关知识,也是由图信号处理领域的知识推导发展而来,了解图信号处理的知识是理解图卷积神经网络的基础。

Posted in Python onMay 11, 2022

1. 图信号处理知识

图卷积神经网络涉及到图信号处理的相关知识,也是由图信号处理领域的知识推导发展而来,了解图信号处理的知识是理解图卷积神经网络的基础。

1.1 图的拉普拉斯矩阵

拉普拉斯矩阵是体现图结构关联的一种重要矩阵,是图卷积神经网络的一个重要部分。

1.1.1 拉普拉斯矩阵的定义及示例

python 学习GCN图卷积神经网络

实例:

python 学习GCN图卷积神经网络

按照上述计算式子,可以得到拉普拉斯矩阵为:

python 学习GCN图卷积神经网络

1.1.2 正则化拉普拉斯矩阵

python 学习GCN图卷积神经网络

1.1.3 拉普拉斯矩阵的性质

python 学习GCN图卷积神经网络

1.2 图上的傅里叶变换

傅里叶变换是一种分析信号的方法,它可分析信号的成分,也可用这些成分合成信号。它将信号从时域转换到频域,从频域视角给出了信号处理的另一种解法。(1)对于图结构,可以定义图上的傅里叶变换(GFT),对于任意一个在图G上的信号x,其傅里叶变换表示为:

python 学习GCN图卷积神经网络

从线代角度,可以清晰的看出:v1,…, vn构成了N维特征空间中的一组完备基向量,G中任意一个图信号都可表示为这些基向量的线性加权求和,系数为图信号对应傅里叶基上的傅里叶系数。

回到之前提到的拉普拉斯矩阵刻画平滑度的总变差:

python 学习GCN图卷积神经网络

可以看成:刻画图平滑度的总变差是图中所有节点特征值的线性组合,权值为傅里叶系数的平方。总变差取最小值的条件是图信号与最小的特征值所对应的特征向量完全重合,结合其描述图信号整体平滑度的意义,可将特征值等价成频率:特征值越低,频率越低,对应的傅里叶基变化缓慢,即相近节点的信号值趋于一致。

把图信号所有的傅里叶系数结合称为频谱(spectrum),频域的视角从全局视角既考虑信号本身,也考虑到图的结构性质。

1.3 图信号滤波器

图滤波器(Graph Filter)为对图中的频率分量进行增强或衰减,图滤波算子核心为其频率响应矩阵,为滤波器带来不同的滤波效果。

故图滤波器根据滤波效果可分为低通,高通和带通。

低通滤波器:保留低频部分,关注信号的平滑部分;

高通滤波器:保留高频部分,关注信号的剧烈变化部分;

带通滤波器:保留特定频段部分;

而拉普拉斯矩阵多项式扩展可形成图滤波器H:

python 学习GCN图卷积神经网络

2. 图卷积神经网络

2.1 数学定义

图卷积运算的数学定义为:

python 学习GCN图卷积神经网络

上述公式存在一个较大问题:学习参数为N,这涉及到整个图的所有节点,对于大规模数据极易发生过拟合。

进一步的化简推导:将之前说到的拉普拉斯矩阵的多项式展开代替上述可训练参数矩阵。

python 学习GCN图卷积神经网络

此结构内容即定义为图卷积层(GCN layer),有图卷积层堆叠得到的网络模型即为图卷积网络GCN。

2.2 GCN的理解及时间复杂度

图卷积层是对频率响应矩阵的极大化简,将本要训练的图滤波器直接退化为重归一化拉普拉斯矩阵

python 学习GCN图卷积神经网络

2.3 GCN的优缺点

优点:GCN作为近年图神经网络的基础之作,对处理图数据非常有效,其对图结构的结构信息和节点的属性信息同时学习,共同得到最终的节点特征表示,考虑到了节点之间的结构关联性,这在图操作中是非常重要的。

缺点:过平滑问题(多层叠加之后,节点的表示向量趋向一致,节点难以区分),由于GCN具有一个低通滤波器的作用(j聚合特征时使得节点特征不断融合),多次迭代后特征会趋于相同。

3. Pytorch代码解析

GCN层的pytorch实现:

class GraphConvolutionLayer(nn.Module):
    '''
        图卷积层:Lsym*X*W
            其中 Lsym表示正则化图拉普拉斯矩阵, X为输入特征, W为权重矩阵, X'表示输出特征;
            *表示矩阵乘法
    '''
    def __init__(self, input_dim, output_dim, use_bias=True):
        #初始化, parameters: input_dim-->输入维度, output_dim-->输出维度, use_bias-->是否使用偏置项, boolean
        super(GraphConvolutionLayer,self).__init__()
        self.input_dim=input_dim
        self.output_dim=output_dim
        self.use_bias=use_bias #是否加入偏置, 默认为True
        self.weight=nn.Parameter(torch.Tensor(input_dim, output_dim))#权重矩阵为可训练参数
        if self.use_bias==True: #加入偏置
            self.bias=nn.Parameter(torch.Tensor(output_dim)) 
        else: #设置偏置为空
            self.register_parameter('bias', None)
        self.reset_parameters()
    def reset_parameters(self):
        #初始化参数
        stdv = 1. / math.sqrt(self.weight.size(1))
        self.weight.data.uniform_(-stdv, stdv)#使用均匀分布U(-stdv,stdv)初始化权重Tensor
        if self.bias is not None:
            self.bias.data.uniform_(-stdv, stdv)
    def forward(self, adj, input_feature):
        #前向传播, parameters: adj-->邻接矩阵(输入为正则化拉普拉斯矩阵), input_future-->输入特征矩阵
        temp=torch.mm(input_feature, self.weight)#矩阵乘法, 得到X*W
        output_feature=torch.sparse.mm(adj, temp)#由于邻接矩阵adj为稀疏矩阵, 采用稀疏矩阵乘法提高计算效率, 得到Lsym*temp=Lsym*X*W
        if self.use_bias==True: #若设置了偏置, 加入偏置项
            output_feature+=self.bias
        return output_feature

定义两层的GCN网络模型:

class GCN(nn.Module):
    '''
        定义两层GCN网络模型
    '''
    def __init__(self, input_dim, hidden_dim, output_dim):
        #初始化, parameters: input_dim-->输入维度, hidden_dim-->隐藏层维度, output_dim-->输出维度
        super.__init__(GCN, self).__init__()
        #定义两层图卷积层
        self.gcn1=GraphConvolutionLayer(input_dim, hidden_dim)
        self.gcn2=GraphConvolutionLayer(hidden_dim, output_dim)
    def forward(self, adj, feature):
        #前向传播, parameters: adj-->邻接矩阵, feature-->输入特征
        x=F.relu(self.gcn1(adj, feature))
        x=self.gcn2(adj, x)
        return F.log_softmax(x, dim=1)

以上就是GCN图卷积神经网络原理及代码解析的详细内容!


Tags in this post...

Python 相关文章推荐
python中将阿拉伯数字转换成中文的实现代码
May 19 Python
python logging日志模块的详解
Oct 29 Python
浅谈flask中的before_request与after_request
Jan 20 Python
Flask入门之上传文件到服务器的方法示例
Jul 18 Python
Python爬虫小技巧之伪造随机的User-Agent
Sep 13 Python
python获取微信小程序手机号并绑定遇到的坑
Nov 19 Python
python实现QQ空间自动点赞功能
Apr 09 Python
python pygame实现五子棋小游戏
Oct 26 Python
python程序快速缩进多行代码方法总结
Jun 23 Python
PyQt5实现暗黑风格的计时器
Jul 29 Python
Python将字典转换为XML的方法
Aug 01 Python
浅谈python锁与死锁问题
Aug 14 Python
Python+Pillow+Pytesseract实现验证码识别
May 11 #Python
Python 绘制多因子柱状图
PyCharm 配置SSH和SFTP连接远程服务器
May 11 #Python
Python 文字识别
May 11 #Python
解决Python保存文件名太长OSError: [Errno 36] File name too long
May 11 #Python
Python 匹配文本并在其上一行追加文本
May 11 #Python
Python 一键获取电脑浏览器的账号密码
May 11 #Python
You might like
php $_SERVER["REQUEST_URI"]获取值的通用解决方法
2010/06/21 PHP
php下获取Discuz论坛登录用户名、用户组、用户ID等信息的实现代码
2010/12/29 PHP
使ecshop模板中可引用常量的实现方法
2011/06/02 PHP
zf框架的zend_cache缓存使用方法(zend框架)
2014/03/14 PHP
PHP生成图片验证码功能示例
2017/01/12 PHP
PHP简单实现遍历目录下特定文件的方法小结
2017/05/22 PHP
Javascript跨域请求的4种解决方式
2013/03/17 Javascript
JavaScript中Math.SQRT2属性的使用详解
2015/06/14 Javascript
js数组如何添加json数据及js数组与json的区别
2015/10/27 Javascript
javascript正则表达式定义(语法)总结
2016/01/08 Javascript
javascript每日必学之基础入门
2016/02/16 Javascript
vue-cli项目如何使用vue-resource获取本地的json数据(模拟服务端返回数据)
2017/08/04 Javascript
微信小程序swiper组件用法实例分析【附源码下载】
2017/12/07 Javascript
用最少的JS代码写出贪吃蛇游戏
2018/01/12 Javascript
Node.js assert断言原理与用法分析
2019/01/04 Javascript
js实现一个页面多个倒计时的3种方法
2019/02/25 Javascript
[07:08]2014DOTA2西雅图国际邀请赛 小组赛7月11日TOPPLAY
2014/07/11 DOTA
[31:55]完美世界DOTA2联赛循环赛 IO vs GXR BO2第一场 11.04
2020/11/05 DOTA
使用cx_freeze把python打包exe示例
2014/01/24 Python
使用python将mdb数据库文件导入postgresql数据库示例
2014/02/17 Python
在Python中使用成员运算符的示例
2015/05/13 Python
python 快速把超大txt文件转存为csv的实例
2018/10/26 Python
Laravel框架表单验证格式化输出的方法
2019/09/25 Python
浅谈python已知元素,获取元素索引(numpy,pandas)
2019/11/26 Python
零基础学python应该从哪里入手
2020/08/11 Python
python 绘制国旗的示例
2020/09/27 Python
巴西网上药房:onofre
2016/11/21 全球购物
中国包裹转运寄送国际服务:Famiboat
2019/07/24 全球购物
奥地利手表、香水、化妆品和珠宝购物网站:Brasty.at
2021/01/17 全球购物
投标邀请书范文
2014/01/31 职场文书
成龙洗发水广告词
2014/03/14 职场文书
爱心助学感谢信
2015/01/21 职场文书
感谢信模板大全
2015/01/23 职场文书
庆六一开幕词
2015/01/29 职场文书
2015年父亲节活动总结
2015/02/12 职场文书
整改通知书
2015/04/20 职场文书