论文出处：AAAI 2019
论文写作单位：1. 清华大学? 2. 北京国家信息科学技术研究中心 ?3.厦门大学
论文关键字：超图神经网络（Hypergraph Neural Network） 图卷积网络（Graph Convolutional network）
Code：?GitHub - iMoonLab/HGNN: Hypergraph Neural Networks (AAAI 2019)
第一部分: 摘要
第1句：总体概括本论文所提出的方法—超图神经网络（HGNN）数据表示学习框架，并指出其核心贡献—编码高阶数据相关性
第2句：指出超图的应用场景—建模复杂数据更加灵活
第3、4句：简述实现超图网络的核心方法—超边缘卷积计算，并且指出该方法也适用于传统超图学习过程
第5句：再次重申HGNN是建模复杂数据相关性的通用框架
第6、7句：介绍实验任务及其对比，表明本文方法性能优越
第8句：强调HGNN很适合于处理多模态数据
第2部分：介绍
第1段：介绍图卷积神经网络相对于传统的卷积神经网络的优势：图卷积能够对不同的输入数据的图结构进行编码，在表示学习方面更具优势。
第2段：介绍第1段所提图卷积神经网络的缺陷—对对连接很难满足实际应用的需求，特别是多模态数据相关性的建模。作者通过图示说明了传统的图结构在表示常见的视觉连接、文本连接和社会连接的时候存在很多局限，限制了图卷积神经网络的进一步发展。
第3段：介绍本文方法—超图神经网络框架。与简单图中边的度都是2相比，超图可以使用其无度超边来编码高阶数据相关性（非成对连接）。如下图1所示，超图可以通过结合邻接矩阵联合使用多模态数据来生成超图。
图1 超图和图的对比
第4段：阐述本文所提出的超图神经网络框架HGNN。作者设计了一个超边缘卷积运算，以更好的利用高阶数据相关性进行表示学习。HGNN是一个可以建模多模态数据和复杂数据相关性的通用框架，传统的图卷积神经网络GCN可以看作是HGNN的一个特例。分类和目标检测的实验证明，HGNN方法在使用高阶和复杂数据关联学习表示方面更有效。
第4段：简要说明本工作的两大贡献：
1、提出超图神经网络框架HGNN用于使用超图结构进行表示学习。HGNN能够通过其超图结构形成复杂的高阶数据相关性，并能够高效地使用超边缘卷积运算，在处理多模态数据/特征方面是有效的。
2、HGNN在引文网络分类任务和视觉对象分类任务中性能优越，处理多模态数据时性能较好。
第3部分：相关工作
第1段：超图学习。讲述的超图学习的起源及其发展历程。
第2段：图神经网络。由于处理不规则数据的需求，图神经网络应运而生。接着介绍了谱方法中的卷积运算及其发展历程。
第4部分：方法—超图神经网络
引言：说明方法的总体结构：先介绍超图学习，然后给出超图上的谱卷积，最后分析两者之间的关系。
第4.1部分：超图学习理论
与简单图不同，超图中的超边连接两个或多个顶点。超图可以定义为G = (V;E;W)，包括一个顶点集V，一个超边集E，每个超边都被赋予一个权值W，这是一个边权值的对角矩阵。超图G可以表示为V × E的关联矩阵H，其项定义为
第4.2部分：超图上的谱卷积
第4.3部分：超图神经网络分析
根据多模态数据集的复杂相关性构造多个超边缘结构群，将超图邻接矩阵H和节点特征输入到HGNN中，得到节点输出标签。构建一个超边缘卷积层如下：
式中X(L)为超图在L层的信号，X(L+1)为超图在L的下一层的信号。σ为非线性激活函数，H是关联矩阵，W是超边的权值，De和Dv分别表示边度和顶点度的对角矩阵。
第4.4部分：超图神经网络实现
第一段：超图构建。以视觉对象分类任务为例，根据两个特征之间的欧氏距离来建超图。每个顶点代表一个视觉对象，超边由一个顶点与K个与其最近的邻接点连接而成，产生N条连接K+ 1个顶点的超边。由此产生的N X N的关联矩阵H，其中N X (K+1)项等于1，其他项为0。
第二段：节点分类模型。构建一个2层的HGNN模型，使用Softmax生成预测标签，使用交叉熵进行反向传播以更新参数。
第5部分：实验
引言：介绍所用数据集—引文网络分类和视觉目标识别，对比方法—图卷积方法和其他最新的方法。
第5.1部分：引文网络分类
第1段：介绍数据集的详细情况，以及生成HGNN的方式。
第2段：介绍实验设置。介绍训练参数以及细节。
第3段：实验结果讨论。根据该数据集上的实验结果表明HGNN能够达到最好的性能，与GCN相比明显有提升。
第5.2部分：视觉目标分类
第1段：介绍数据集和评测方式。
第2段：介绍超图构建的两种方式：一种是基于多模态特征的，另一种只使用一种模态。以一个对象为中心，使用10个最近对象来生成超边缘以构建超图。来自不同模态的相邻矩阵Hi串联起来，构建多模态超图相邻矩阵h。构造单模态特征和多模态特征的超图。
第3段： 实验结果与讨论。本文所提的HGNN方法性能最优，较GCN更优。
总结：超图结构可以获得更好的性能。超图结构能够传递数据之间复杂的高阶相关性，与图结构和无图方法相比，能够更好地表示底层的数据关系。当特征是多模态数据时，HGNN灵活的超边缘将多模态信息整合在同一结构中，更有利于多模态关系的建模。
第6部分：结论
第1、2句：重申本文所提出的方法，将卷积运算推广到超图结构上。
第3句：概述算法细节，用超图拉普拉斯算子进行谱域上的卷积，并进一步用截断切比雪夫多项式逼近。
第4句：重申HGNN的优势—处理复杂数据的高阶相关性。
第5、6句：重申本文在多个数据集中与多个方法对比，其分类结果的性能优势。
