[人工智能]知识图谱论文阅读（十五）【arxiv】A Survey on Knowledge Graph-Based Recommender Systems

论文题目： A Survey on Knowledge Graph-Based Recommender Systems
论文链接：
论文代码：

想法

论文

摘要

难点：
当今推荐系统的难点 ： 数据稀疏和冷启动；
而基于KG的推荐系统不仅能减轻上面的两个问题，同时能提供可解释性。
全文内容：
全文将介绍两个方面： 一方面，我们通过研究论文如何利用知识图进行准确和可解释的推荐来研究提出的算法。另一方面，我们介绍了在这些工作中使用的数据集。最后，提出了该领域的几个潜在研究方向。

1. Introduction

recommender systems分为三类：1. CF 2. Content-based recommender systems 3. hybrid recommender ；
CF是基于user或者item的相似性， Content-based则是发掘item的内容属性。所以也就是的CF有自己的优点是能有效的捕获用户的喜好，但是存在着冷启动和数据稀疏问题。 所以第三种横空出世！

KG-based recommender systems可以分为三种： Embedding-based method、path-based method和unified method。

KG是一个异构图，包含了更多的side information，比如用户的社会关系、item属性等。

全文我们将讨论这些方法的不同， KG-based recommendation 的可解释性以及通过它们的应用场景进行分类！

2. Related work（和introduction是一样的）

2.1 Knowledge Graphs

描述KG的常用方法就是使用RDF（Resource Description Framework）！
而KG可以被分为两类： 1. cross-domain KGs 2. domain-specific KGs

像Google’s Knowledge Graph和Satori都被嵌入到了搜索引擎，前者是Google的，后者是Bing的； CN-DBPedia是复旦大学出的，是目前中文最大的一个！

2.2 Recommender Systems

推荐系统就是给定user u和item i，最后来个得分函数，查看该item值不值得推送！ 所以主要目标就是学习user、item的表示以及得分函数的选择。 到目前为止有三种方式：
CF：CF主要是将拥有相同交互记录的用户看做是相似的，从而进行推荐。 交互记录可以是显性的（购买、评分）和隐形的（浏览和点击）。
CF可以为了两种方式： memory-based CF 和 model-based CF。 1. memory-based CF就是从交互信息中学习user-user之间的相似性，然后彼此推荐内容； 2. model-based CF通过建立一个inference model来减轻稀疏问题，一种常见的实现是潜在因素模型， 从高维度的user-item交互矩阵中提取用户与物品的潜在表示，然后通过内积或其他方法计算用户与物品之间的相似度。

Content-based Filtering： 这里我们是学习user和item的特征表示的，其中user的特征表示是由其历史交互信息（items）得到的，而item更多是其属性。 所以Content-based Filtering更多是推荐一些过去的相似的items！

Hybrid Method：
user-item的交互数据的稀疏同样导致了冷启动问题，因为没有数据来学习user和item的特征表示！ 所以我们可以添加side information（content-based Filtering）！ 基于user side information主要可以有人口的统计信息，包括职业、性别、爱好、用户网络； 基于item side information主要可以有item attributes，包含品牌、类别; 项目多媒体信息，如文本描述、图像特征、音频信号、视频特征; 项目评论。

3 OVERVIEW

我们首先给出文中使用的符号和概念，以消除误解。

Heterogeneous Information：

V和E是实体和链接； 而A和R是实体类型和链接类型
这其中需要注意的是： 有两个函数$?$和$\psi$可以映射出实体和关系的类型！但是并未在图中展示

Knowledge Graph (KG)：

RDF

Meta-path:

用来提取图中的连接性特征，用在HIN！A是实体类型，R是关系类型！

Meta-graph

是meta-path的多种组合版！ 更有结构性

知识图嵌入(KGE)
将图中的实体和关系用一个低维d向量来表示，低维嵌入仍然保持了图的固有属性，可以通过图的语义或者高阶接近程度来量化！

User Feedback

如果是1，那么就表示有隐式的交互！ 但是隐式的交互不一定就是对该东西有好感，除非有特殊的说明。 有些情况下这种显示反馈能表达用户的喜好，比如电影的评分很高或者低！

H-hop邻居：

相关的实体：
给出交互矩阵R和知识图谱${\mathcal{G}}_{know}$，$k?hop$对于用户u的相关实体可以这样表示：

其中是用户的历史交互项的集合。

User Ripple Set：
用户纹波集定义为头部实体为(k?1)-hop相关实体的知识三元组${\mathcal{E}}_u^{k?1}$

Entity Ripple Set:
一个实体的波纹集$e\in \mathcal{G}$被定义为：

4 Methods of recommender systems with knowledge graphs

怎么使用KG可以被分成三部分：embedding-based methods, path-based methods, and unified methods.
最近，可解释性推荐成为了热门话题，如果给用户提供适当的解释，有助于用户采纳推荐系统产生的建议

4.1 Embedding-based Methods

基于嵌入的方法一般是直接利用KG中的信息来丰富物品或用户的表示。为了挖掘KG信息，需要应用知识图嵌入(KGE)算法将KG编码为低秩嵌入。KGE算法可分为两类[98]:翻译距离模型，如TransE[99]、TransH[100]、TransR[101]、TransD[102]等，语义匹配模型，如DistMult[103]。

而基于嵌入的方法又可以分为两种： 有user的KGs和无user的KGs！

4.1.1 无User的KGs

无User的KGs：KGs中只有items，该items graph可以从数据集或者外部知识众包中获得！ 之后通过KGE丰富每个item的内容得到一个低维向量，最后融合到我们的推荐系统中。 总体而言，通过多种来源的特征的融合我们得到item和user的最终向量$V_j$和$U_i$，之后我们通过一个函数得到$u_i$对$v_j$的选择概率：

其中$f(?)$可以是inner product，DNN，etc，最后我们通过得分来进行Top-N推荐。

举例： CKE模型，该模型中一个item$V_j$的向量由各种向量aggregated而成：

其中，第一项从user-item交互矩阵中提取； 第二项是item的在KGs中通过TransR得到的结构向量，第三项是文本特征(text)，第四项是视觉特征(visiable)

在获得user$U_i$的潜在向量后，最终的喜好分数${\hat{y}}_{i,j}$通过inner product得到$u_i^T{v}_j$，之后我们通过分数来给用户推荐物品。

DKN模型， 同样是如何获得item 和 user的特征表示。 在该模型中，item j的特征由新闻的textual feature和通过TransD得到的knowledge-level feature组成，这也就是获得了其高级语义特征$V_j$； 对于user i的特征， 则是通过一个注意力机制聚合它的历史点击新闻 { V 1 , V 2 , . . . , V N i } \left \{ V_1, V_2, ..., V_{N_i} \right \} {V1?,V2?,...,VNi??}获得！ 这个注意力权重通过下面的式子获得：

其中$V_j$就是我们前面求出的候选新闻的特征； $g(?)$是DNN层。 最后的user embedding $u_i$通过点击新闻的嵌入的权重和得到：

最后，我们再通过前面的公式得到对该候选新闻的兴趣，这里$f(?)$是DNN层

KSR模型：

XXXXX有个图

4.1.2 User-item graph

其它的方法中则是构建异构图，也就是建立user-item graph，其中users、items和他们相关的属性函数作为结点，其中attribute-level relation（牌子、类别，etc）和user-related relations（co-buy，co-view，etc）都作为边。 既然有了图，那么就可以获得KG中实体的嵌入，那么user i和item j的embedding也可以获得，既可以直接通过公式一得到结果！ 也可以添加relation得到分数：

CFKG模型： 这里也是创建一个user-item graph，其中user behaviors（purchase、mention）会被认为是 一种关系类型； 而item side information的多种类型（比如review，brand， category，bought-together，etc）也都包含在里面； 为了学习图中的关系和实体的embedding，模型中定义了一个metric function $d(?)$来测量给定关系下两个实体的距离。

最后在推荐阶段，也是通过距离的上升顺序来进行推荐。 其中$r_{buy}$是’buy’关系

SHINE模型： 将名人推荐任务（社交网络中对某个明星的喜爱）作为图中实体之间的情感链接推荐任务，在该模型中将users和targets（名人）都嵌入到情感网络$G_s$中，并利用了他们的社会关系$G_r$和档案信息网络$G_p$作为辅助信息，这三个网络被auto-encoder 技术embedded了（分析，形成向量），之后aggregate后作为user和target的向量，最后使用公式一判断兴趣点； 其中$f(?)$是一个DNN层。

DKFM模型：POI推荐，在一个city KG上使用TransE丰富了目的地的特征表示，提高了POI效果。

原来的工作只是使用经过KGE后的raw vector，现在更多的工作在refine 得到的实体的和关系的raw vector：

KTGAN：A GAN-based model。 第一阶段， 获取初始user 和 movie的latent vector！ 其中对于movie $v_j$,其潜在向量可以这样得到：$$V_j^{initial}=V_j^k\oplus V_j^t$$

其中$V_j^k$通过在movie’s KG进行 Metapath2Vec model得到的； 而$V_j^t$则是通过在movie’s attributes上进行Word2Vec model得到的；

同理，用户$u_i$的潜在向量可以这样得到：
$$U_j^{initial}=U_j^k\oplus U_j^t$$

其中$U_j^k$是$u_i$的最喜欢的电影的知识嵌入的平均； 而$U_j^t$是$u_i$的tag 嵌入。

第二步： 生成器G和辨别器D被引入来更好的更新user和item的初始向量表示，生成器通过得分函数$p_{\theta }(v_j\mid u_i,r)$为用户$u_i$产生相关（最喜欢）的电影，其中r代表了$u_i$和$v_j$的相关性。 在测试阶段，G尝试让$p_{\theta }(v_j\mid u_i,r)$近似于其最喜欢的电影分布$p_{true}(v_j\mid u_i,r)$，以便G可以选择相关的用户电影对。 D是一个二分类器用来区分相关的user-movie对和不相关的user-movie对根据得分函数$f_{?}(u_i,v_j)$拍判断。 损失函数如下：

其中，

表示电影$v_j$被用户$u_i$喜欢的概率。 在对抗训练结束后，就可以得到
最优的$u_i$和$v_j$嵌入表示，最后使用生成器G的得分函数$p_{\theta }(v_j\mid u_i,r)$得到排名。

BEM模型： 这里使用了为items准备的两种类型的图， knowledge-related graph（item attributes、brand、category，etc）和behavior graph（interaction-related information， co-buy,co-add,co-rate to cart）； 首先，BEM会首先学习初始embedding，其是将TransE和GNN-based model分别应用到上面两个图得到到的！ 之后呢，BEM使用一个贝叶斯框架来refine这两种embedding。推荐可以通过在行为图中找到最接近交互项目的项目来生成，这是通过“共同购买”或“共同点击”的关系来衡量的。

4.1.3 multi-task

之后的趋势则是multi-task学习的策略，共同在KG-related task的引导下学习推荐任务。 第一个任务就是推荐任务，推荐任务就是寻找一个函数$f(?)$，该函数可以预测user i 对 未知item j的兴趣分； 而KG-related task则是学习另一个函数$g(e_h,r,e_t)$来决定$\left(e_h,r,e_t\right)$在KG中是一个有效的三元组。 这样两部分结合就是目标函数：

其中前者是推荐的loss 函数，后者是KG-related task的loss函数，$\lambda$是平衡参数。 多任务学习的动机是，推荐模块中的item embeddings和KG中的关联实体嵌入由相同的特征。

KTUP模型: 也是multi-task，共同学习推荐和知识图谱任务。 推荐模块的损失函数：

其中$(u,v)$是被观察到的user-item对，而$(u,v^{{}^{\prime }})$是未被观察到的user-item对； $p$代表了user对给定item的喜好程度； $f(?)$是所提出的translation-based model，TUP，建模一个user-item对的正确性；
对于KG完成模型，hinge loss被采纳：

其中${\mathcal{G}}^{?}$是替换了$\mathcal{G}$中的$e_h$和$e_t$；$g(?)$是一个TransH模型，一个更低的$g(e_h,r,e_t)$值推断出这样一个三元组的更高正确性； $\left[?\right]=max\left(0,?\right)$；$\gamma$是一个margin参数； 推荐模块是为挖掘user i对item j的偏好关系，而Knowledge completion task则是提取KG中items之间的关系； 而两者的桥梁就是他们在KG有相对应的实体。两者之间互相传递只是可以丰富item和preference的embedding！

MKR模型：也包含了一个推荐模块和一个KGE模块。前者学习users和items的潜在表示，后者则使用语义匹配KGE模型学习关联实体的item！ 这两部分通过一个cross&compress单元来传递知识！

RCF模型：它引入了item的层次描述，包括关系类型嵌入和关系值嵌入。RCF利用DistMult模型作为KGE来保留items之间的关系结构！ 然后后，利用注意机制分别对用户的类型级偏好和价值级偏好进行建模。通过推荐模块和KG关系建模模块的联合训练，可以做出像样的推荐。

总结：
大多数基于嵌入式的方法构建具有多种类型的商品侧信息的KGs，丰富了商品的表示，这些信息可以用来更精确地建模用户表示。有的模型通过将用户引入图中来构建user-item图，可以直接对用户偏好建模。entity embedding是基于嵌入方法的核心，一些文献利用GAN或BEM对嵌入进行细化，以便更好地推荐。基于嵌入的方法从本质上利用了图结构中的信息。有的文献采用多任务学习策略，结合图相关任务联合训练推荐模块，提高推荐质量。

4.2 Path-based Methods

Path-based methods建立了一个user-item图，并利用图中实体之间的连接模式进行推荐，同时这种方式也被称为recommendation in HIN。 这里的连接模式指的是users/items之间的连接相似性（也就是相似性高，则user/items之间或者之内相似性高）。 图中实体之间的连接相似性可以通过PathSim来度量：

其中$P_{m\to n}$是实体m和n的一条路径。

一种基于路径的方法利用不同元路径中实体的语义相似性作为图的正则化，以细化HIN中user和item的表示。 之后就可以通过公式一来预测user i对item j的喜好程度，这里$f(?)$是内积。

• User-User Similarity：目标函数

这里的${\Vert ?\Vert }_F$表明是matrix Frobenius norm； $\Theta =\left[{\theta }_1,{\theta }_2,?,{\theta }_L\right]$表明了每个meta-path的权重，$\mathrm{U}=[{\mathrm{u}}_1,{\mathrm{u}}_2,\dots ,{\mathrm{u}}_m]$表明了所有用户的潜在向量； $s_{i,j}^l$表明用户i和j在meta-path$l$的相似性分数； 这个相似度会迫使两个在元路径上相似的用户的潜在向量更近接近。

• Item-Item Similarity： 目标函数

$\mathrm{V}=[{\mathrm{v}}_1,{\mathrm{v}}_2,\dots ,{\mathrm{v}}_n]$表明所有item的潜在向量.同上，如果基于元路径的相似度很高，那么物品的low-rank表示应该是接近的。

User-Item Similarity：目标函数：

如果用户和物品的元路径相似度较高，则用户和物品的潜在向量会变得更接近。

Hete-MF：提取出了L条不同的meta-path并且在每条path中计算item-item之间的相似性； item-item正则化与加权非负矩阵分解方法相结合，细化用户和项目的low-rank表示，以便更好地推荐。Hete-CF：把user-user相似性，item-item相似性和user-item相似性聚在一起作为正则化项来找到用户对其为评分的item的亲和力。 因此，后者优于前者。