IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 基于空间的图卷积网络和基于谱的图卷积网络(spectral-based GCN and spatial-based GCN) -> 正文阅读

[人工智能]基于空间的图卷积网络和基于谱的图卷积网络(spectral-based GCN and spatial-based GCN)

目录

废话:

基于空间的图卷积网络(spatial-based GCN)

基于谱的图卷积网络(spectral-based GCN)

第一部分,从0到1(从传统的傅里叶变换+卷积——>图上的傅里叶变换+卷积)

1. 按照傅里叶变换公式,定义图上的傅里叶变换

2.利用卷积定理得到节点与卷积核的卷积

?3.图卷积网络公式

第二部分,对原始GCN的改进,得到现在常用的模型公式

1.Chebyshev多项式作为GCN卷积核

2.得到常用的GCN模型公式


废话:

很久以前我就看了 《a comprehensive survey on Graph Neural Networks》这篇综述,对于图神经网络的大概分类有了一定的了解,但是并不太清楚具体的细节。

并且自己去了解很多的资料,但是一直没有一个整体的认知。最近看 CS224W: machine learing with graph,又触动了我关于基于空间还是基于谱的认知。然后为了有个清晰的认识,我又看了一遍之前的资料,并且看了《SEMI -SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》里面关于卷积公式的推导。现在大概有个比较清楚的认识。

基于空间的图卷积网络(spatial-based GCN)

这个部分不过多介绍,参考CS224W: machine learing with graph上提出的这个GCN模型。图神经网络(6)-GNN1_山、、、的博客-CSDN博客图数据的特殊性:1. 没有固定的节点顺序或参考点(排列不变性,不同的节点顺序代表同一个图)2.经常有动态并且多种模式的特征怎么将深度学习应用到graph上呢??直接将图的邻接矩阵连接节点特征当作输入,应用全连接DNN可以吗?不行! 这样的话,对于不同size的图用不了,并且这样对节点的顺序敏感!...https://blog.csdn.net/qq_44689178/article/details/123263686?spm=1001.2014.3001.5502

基于谱的图卷积网络(spectral-based GCN)

这个部分的公式推导非常非常麻烦,我搞懂了整个推理过程,没有具体去推导。

公式推导涉及的相关知识点包含:傅里叶变换,矩阵论(拉普拉斯矩阵,谱分解),卷积定理,切比雪夫多项式等。

整个推理过程,我分为两个部分。

第一部分,从0到1(从传统的傅里叶变换+卷积——>图上的傅里叶变换+卷积)

参考下面这位大佬的。我看了很多推导,他说的最清楚明白。

如何理解 Graph Convolutional Network(GCN)? - 知乎从CNN到GCN的联系与区别——GCN从入门到精(fang)通(qi)1 什么是离散卷积?CNN中卷积发挥什么作用?了…https://www.zhihu.com/question/54504471/answer/332657604说一下理解这篇文章的几个关键点。

1. 按照傅里叶变换公式,定义图上的傅里叶变换

学过积分的都知道,积分就是内积(相乘求和)的极限。

傅里叶变换公式:

图上的傅里叶变换:

?上面的这个f(i) 可以认为就是图神经网络中的H(k)——也就是节点的embeddings

然后把上面这个公式表示为矩阵形式:

2.利用卷积定理得到节点与卷积核的卷积

要得到下面公式:

?这一部分,非常好理解。卷积定理简单解释就是:先卷积再傅里叶变换=先傅里叶变换再卷积

上面这个公式是求的f(节点的embeddings)和h(卷积核)之间的卷积。

那么我们可以先求f(h(卷积核)之间卷积的傅里叶变换,那么就等于fh先傅里叶变换再卷积。求得f(h(卷积核)之间卷积的傅里叶变换,再做一个逆变换就得到f(h(卷积核)之间的卷积。

由下面这个公式知道,傅里叶变换就是左乘U的转置矩阵,逆变换就是左乘U

?那么,就很容易就得到了

然后,这个公式有其他形式,

?3.图卷积网络公式

通过上面f(节点的embeddings)和h(卷积核)之间的卷积,就得到了第一代GCN。

?之后就是改进。

第二部分,对原始GCN的改进,得到现在常用的模型公式

改进重点就是把卷积核的表示方式做优化,让计算变得简单。

1.Chebyshev多项式作为GCN卷积核

Chebyshev多项式作为GCN卷积核 - 知乎利用Chebyshev多项式拟合卷积核是GCN论文中广泛应用的方法 。在这篇文章中,我会推导相应的公式,并举一个具体的栗子。在之前的回答中( 如何理解 Graph Convolutional Network(GCN)?),已经推导出了如下GCN的…https://zhuanlan.zhihu.com/p/106687580上面这个连接介绍了具体的细节。最后得到了,Chebyshev多项式作为GCN卷积核的形式。

2.得到常用的GCN模型公式

现在GCN常用的模型公式如下图所示:

图神经网络模型类似于下面这种:

?

?现在讲讲,怎么推导到上面的形式。这部分参考论文《SEMI -SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》。

首先,Chebyshev多项式作为GCN卷积核,那么卷积核与节点embeddings之间的卷积如下图:

?并且

?在论文《SEMI -SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》里面,他提到,\lambda(max)\approx?2,并且取K=1阶的Chebyshev多项式。

代入上式很容易得到

化为下面的矩阵形式:

?然后利用一个renormalization trick

?就得到了我们常用的形式:?

?这里面的\Theta就是W,而X就是H。

结束!!

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-03-11 22:11:31  更:2022-03-11 22:13:36 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 15:49:14-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码