[人工智能]异质图神经网络（持续更新ing...）

诸神缄默不语-个人CSDN博文目录

本文将对异质图神经网络（HGNN, heterogeneous graph neural networks）的方法演变进行梳理和介绍。

最近更新时间：2022.11.2
最早更新时间：2022.10.31

1. 异质图

节点或者边的种类>1即可。
如果节点种类为1，边种类>1，叫multiplex graph。

2. 处理为同质图

直接将节点类型和边类型编码到节点属性中

缺点：不符合GNN内蕴的smoothness假设¹，节点/边类型是离散数值，往往与节点特征不共享结构。

3. 知识图谱嵌入

TransE: Translating Embeddings for Modeling Multi-relational Data
DistMult
ComplEx
RotatE

这部分我之前写过相关的博文：cs224w（图机器学习）2021冬季课程学习笔记12 Knowledge Graph Embeddings_诸神缄默不语的博客-CSDN博客

4. 传统图学习方法

4.1 meta-path系

random walk / PageRank
skip-gram

PathSim: Meta Path-Based Top-K Similarity Search in Heterogeneous Information Networks

Meta-Path-Based Ranking with Pseudo Relevance Feedback on Heterogeneous Graph for Citation Recommendation

metapath2vec: Scalable Representation Learning for Heterogeneous Networks：基于metapaths的随机游走+heterogenous skip-gram

HERec: Heterogeneous Information Network Embedding for Recommendation：根据metapath邻居将异质图转换为同质图，用类似DeepWalk的方法学习表征

HIN2Vec: Explore Meta-paths in Heterogeneous Information Networks for Representation Learning：捕获并区别metapaths的信息
多任务学习目标（同时学习节点和metapath的表征）

4.2 subgraph系

将每种关系下的图视作一个子图，然后联合学习这些子图：

Embedding of Embedding (EOE): Joint Embedding for Coupled Heterogeneous Networks

PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Networks：将LINE扩展到异质图上

AspEm: Embedding Learning by Aspects in Heterogeneous Information Networks

4.3 其他

1. 嵌入到不同的空间中，或relation embedding：
   1. HEER: Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks：考虑异质图中类型不同导致的语义不兼容问题²
      改进PTE，通过边表征考虑种类相似性
   2. PME: Projected Metric Embedding on Heterogeneous Networks for Link Prediction
2. BHIN2vec: Balancing the Type of Relation in Heterogeneous Information Network：随机游走+skip gram+多任务，解决HIN中不同种类边数不平衡的问题

5. GNN + Bi-level aggregation scheme

首先聚合同一类/组中的邻居，然后对其进行聚合（求平均或用注意力机制加权求和）。

RGCN: Modeling Relational Data with Graph Convolutional Networks：每种边一个图卷积层

(2019 NeurIPS) GTN: Graph Transformer Networks：自动学习metapaths（通过图transformer层生成所有可能的联系，在新图上运行图神经网络）

(2019 WWW) HAN: Heterogeneous Graph Attention Network：attentively聚合metapath-based neighborhoods学到的特征

(2019 KDD) HetGNN: Heterogeneous Graph Neural Network：用RWR抽样异质邻居，按节点类型分类，然后聚合

(2020 WWW) MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding：首先对节点特征进行转换，然后聚合metapath内部信息，然后聚合各metapath的信息

GATNE: Representation Learning for Attributed Multiplex Heterogeneous Network³

(2020 WWW) HGT: Heterogeneous Graph Transformer：对每个边建模异质attention，隐式学习metapath

缺点：可能会忽略节点信息（尤其在关系种类不平衡时，大类的节点个体信息可能会被忽略 (downweight)）

6. GNN + 自监督学习

1. 综述
   Self-supervised on Graphs: Contrastive, Generative, or Predictive
2. 研究工作
   1. (2019) HDGI: Heterogeneous Deep Graph Infomax
   2. (2020 AAAI) DMGI: Unsupervised Attributed Multiplex Network Embedding：对齐每个视图（通过metapaths生成）上的原始网络和corrupted网络
   3. (2021 KDD) HeCo: Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning：基于metapaths和network分别构建视图
   4. (2022 SDM) STENCIL: Structure-Enhanced Heterogeneous Graph Contrastive Learning：跨视图+对比学习+结构嵌入
      跨视图：保证视图之间一致性最大化→基于metapaths构建视图（metapath实例起终点构成的同质图）→最大化同一节点在不同视图上嵌入的相似性→将各视图的嵌入attentively聚合
      结构学习：认为节点嵌入点击不足以建模节点相似性，所以补充了PPR和Laplacian positional embedding

5. 其他

1. 一步聚合
   1. HIME: Heterogeneous graph embedding with single-level aggregation and infomax encoding
      对节点特征应用MLP（每一种节点用一个模型），直接进行聚合。损失函数鼓励邻居相近+信息最大化（以促进同质性）

6. 其他参考资料

1. Heterogeneous Information Network Analysis and Applications
2. (2022 Transactions on Big Data) A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources