IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> Why Do Attributes Propagate in Graph Convolutional Neural Networks? -> 正文阅读

[人工智能]Why Do Attributes Propagate in Graph Convolutional Neural Networks?

这篇论文是收录在The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21)上面关于图神经网络的一篇论文。我看完的感觉是,真的很厉害了!内容很多,看完收获满满!

这篇论文解决了什么问题??

1. 解释了GNN中传播的本质

2.提出了一个新的GNN模型——GCCN

这篇论文采用什么方法解决这个问题的?

1. 文章先介绍了在线性系统中的梯度下降——后面会用到这个过程,然后介绍了各种GNN模型——后面证明本质的时候会用到。然后文章提出了一个GRL框架,通过对这个GRL利用求解的数学优化方式得到了各种GNN的迭代公式。因此就证明,其实各种GNN模型都是对这个GRL的数学优化过程的体现,GNN模型中的传播过程就相当于这个数学优化求解过程。从而,就证明了GNN中传播的本质就是数学优化。

细节在这(暂时是仅我可见,因为有些写论文的思路)https://blog.csdn.net/qq_44689178/article/details/123610130https://blog.csdn.net/qq_44689178/article/details/123610130

2. 据作者说,是受到了共轭梯度下降的启发,提出了这个模型。
? ?这个模型的形式,就是在GCNⅡ的基础上增加了一个残差( Ht — Ht-1 )

增加了这个残差,可以让模型收敛更快,效果更好!

论文的实验怎么做的?

探究了GCCN在直推式( transductive)和归纳式( inductive)中的表现情况。采用了三到四种共九个数据集,对比了经典算法以及最近提出的一些表现好的算法。

文章的Introduction

看完这一部分,发现有些方向是我没听过的,所以做个记录。这一部分我只记录类似GNN综述的部分。

图神经网络(GNNs) 由于其在不规则数据建模方面的潜力,已成为深度学习领域的一个热门话题。GNN在计算机视觉、自然语言处理、交通预测、化学和医学分析等领域得到了广泛的应用,并取得了良好的性能。现有的GNN可分为两类,谱方法和空间法。

图卷积网络(GCN) (Kipf and Welling 2017)是一个简单、性能良好且富有洞察力的GNN,它通过证明了传播可以由谱图卷积的一阶近似激发,将以上两种观点连接起来。——经典模型

最近的进展也证明了基于空间和基于谱的GNN等效(Balcilar et al,2020年)。从传播的角度增强GCN已经付出了很多努力(Gilmer et al. 2017),如图注意网络(GAT)中的可学习传播权值(Velickovic et al. 2018)、门控注意网络(GaAN) (Zhang et al. 2018)和Probabilistic?GCN (Yang et al. 2020)。Geom-GCN中的结构邻域(Pei etal. 2020)和N-GCN(Abu-El-Haijaetal.2019a)、MixHop(Abu-El-Haija etal. 2019b)、LanczosNet (Liao etal.2019)和Krylov GCN(Luan etal.2019)中的多尺度(多跳)组合。它们的共同理念是:传播是GNN的本质。并且,GCNs的成功归功于传播引入的Laplacian平滑(Li, Han, And Wu 2018)。

不幸的是,GNN最严重的问题是过度平滑,这是通过叠加多个图卷积层进行多次传播造成的,导致性能急剧下降。最近,(Oono和Suzuki 2020)通过将GCN的正向传播推广为一个特定的动力系统,表明了GNN表达能力的指数损失

为了防止过平滑,提出了两种方法。一方面,第一类中的方法限制了传播Disen-tangled GCN (Ma et al. 2019)使得每个属性只在部分边缘上传播DropEdge (Rong et al. 2020)在每个训练回合中随机从输入图中删除一定数量的边,以减少消息传递的不利影响。另一方面,第二类方法用原始属性约束传播结果PageRank-GCN (Klicpera, Bojchevski, Günnemann 2019)将个性化的PageRank整合到GCN中,结合原始属性。JKNet (Xu et al. 2018)采用密集连接进行多跳消息传递,而DeepGCN (Li et al. 2019)和(GC- NII) (Chen et al. 2020)将残留层合并到GCNs中,以促进深度架构的开发。

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-03-21 20:50:48  更:2022-03-21 20:54:55 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 13:56:45-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码