[人工智能]论文阅读：MVIN: Learning Multiview Items for Recommendation

从用户视图来看，面向用户的模块根据包含用户点击信息的异构知识图实体对特性进行评分和聚合，从而从个性化的角度提出建议。从实体视图来看，混合层对比各层的图神经网络信息，进一步从异构知识图(KG)内部实体-实体交互中获得综合特征

在现实世界中，每个用户对给定的项目都有不同的看法视图(views)，在实体视图中，项目表示由异构知识图(KG)中连接到它的实体来定义的。这也对应了多视图的两大问题：如何丰富用户视图Graph，如何细化实体视图Graph。论文提出的MVIN，从user和item来学习多个视角下的商品表示，进而进行商品推荐

MVIN介绍

1. user-entity interaction （模型目的之一为丰富用户-实体交互）

为了提高面向用户的性能，我们将用户实体交互分为面向用户的关系关注、面向用户的实体投影和kg增强的用户表示

用户和物品定义为 U = { u 1 , u 2 , … ? } , V = { v 1 , v 2 … ? } U=\{ u_1,u_2, \dots\} , V=\{ v_1,v_2 \dots \} U={u1?,u2?,…},V={v1?,v2?…}

三元组为 { ( h , r , t ) ∣ h , t ∈ ε , r ∈ R } \{ (h,r,t)|h,t \in \varepsilon, r \in \mathbb{R} \} {(h,r,t)∣h,t∈ε,r∈R}

1.1 user-oriented relation attention

当MVIN从KG中给定商品的邻域收集信息时，它会以用户特有的方式为该商品的某个关系打分。所提出的面向用户的关系注意力机制利用给定用户、产品和关系的信息来确定连接到该产品的哪个邻居信息更加丰富。因此，领域的每个实体都被依赖分数加权${\pi }_{r_{v,e}}^u$,$r_{v,e}$表示从实体$v$到相邻实体$e$的关系$r$。该论文聚合加权邻域实体嵌入，并生成最终面向用户的邻域信息

1.2 User-Oriented Entity Projection

对于不同的用户，KG实体应该有不同的信息量来描述其属性。实体投影机制通过将每个实体$e$投影到用户透视图$u$来细化实体嵌入。公式包括线性和非线性：
$$\begin{gathered} e=W_e(e+u)+b_e \\ e=\sigma (W_e(e_u)+b_e) \end{gathered}$$

面向用户的实体投影模块可以看作是增加用户实体交互的早期层。然后面向用户的关系注意模块以用户特有的方式聚合临近信息

1.3 KG-Enhanced User Representation

为了提高接收到的面向用户的信息的质量，我们根据包含用户单击信息的KG实体来丰富用户表示。从KG中获取用户偏好信息需要咨询KG中所有相关实体，实体之间的联系可以帮助我们找到潜在的用户兴趣。用户兴趣的提取符合所提出的面向用户的模块

在此基础上，用KG实体对用户进行建模，并通过KG增强的用户表示来增强面向用户的信息，整体流程及算法如下：


Preference Set
用户$u$交互过的物品集合为 V u = { v ∣ y u v = 1 } V_u=\{v|y_{uv}=1\} Vu?={v∣yuv?=1}
用这些物品作为气垫，探索偏好集
ε u p = { t ∣ ( h , r , t ) ∈ G a n d h ∈ ε u p ? 1 } , p = 1 , 2 … l p S u p = { ( h , r , t ) ∣ ( h , r , t ) ∈ G a n d h ∈ ε u p ? 1 } , p = 1 , 2 … l p ε u 0 = V u \varepsilon_u^p=\{t|(h,r,t) \in \mathbb{G} and h \in \varepsilon_u^{p-1} \},p=1,2 \dots l_p \\ S_u^p=\{(h,r,t)|(h,r,t) \in \mathbb{G} and h \in \varepsilon_u^{p-1} \},p=1,2 \dots l_p \\ \varepsilon_u^0=V_u εup?={t∣(h,r,t)∈Gandh∈εup?1?},p=1,2…lp?Sup?={(h,r,t)∣(h,r,t)∈Gandh∈εup?1?},p=1,2…lp?εu0?=Vu?

Preference Propagation
首先，我们在hop-0定义用户首选项响应

在hop-p (其中p>0)，用户偏好响应计算为对应关联概率加权后的尾的和

在整合所有用户偏好响应后，生成最终的用户偏好嵌入

2 Entity-Entity Interaction （模型目的之二为细化实体-实体交互）

在实体-实体交互中，该论文提出了 层混合 ，并着重于捕获高阶连通性和分层混合信息。分别从深度和广度来介绍这两个方面，该过程如下算法：

对于深度，该论文整合面向用户的信息，收益高阶连接信息来生成实体$v_w^d$，和领域信息$n_w^d$，随后聚合生成下一个表示$v_w^{d+1}$

利用分层的实体宽度差异，允许不同级别的实体之间的比较。该论文混合了不同距离的邻居的特征表示，以进一步提高后序推荐的性能。

在每一层，都利用层矩阵混合分层的GCN信息$(v_w^1,v_w^2\dots ,v_w^d)$，生成下一个表示$v_{w+1}^1$

3 Learning Algorithm

损失函数为

$P$为负采样分布并且符合均匀分布，$N^u$是对用户$u$负采样的个数

3.1 Fixed-size sampling 固定大小采样

在真实世界的知识图中，$N$的大小变化很大。$S_u^p$可能随着hop数量增长过快。为了保持计算效率，采用固定大小的策略，并对实体集进行采样。对于每个实体$v$均匀采样一个领域$N^{\prime }(v)$，其中$|N^{\prime }(v)|=K_n$，对于hop-p，$|S_u^p|=K_m$

3.2 Stage-wise Training

为了解决固定大小的采样策略可能会限制所有实体的使用，最近提出了分段训练的方法，从KG中收集 更多的实体关系，以接近整个邻域的全景。在每个阶段，阶段式训练将重新取样另一组实体，以允许MVIN从KG收集更多的实体信息。分段训练的算法如以下算法所示

3.3 Time Complexity Analysis

在每个batch中，MVIN的时间成本主要来自生成KG增强的用户表示和混合层。用户表示生成的计算复杂度为$O(l_p{K}_m{s}^2)$，用于计算所有$l_p$层的相关概率$k_i$。混合层要通过deep layer $l_d$和wide layer $l_w$进行聚合，其计算复杂度为$O(K_n^{l_w{l}_d}{s}^2)$。因此整体的训练复杂度是$O(l_p{K}_m{s}^2+K_n^{l_w{l}_d}{s}^2)$。

实验

数据集

该论文使用三个真实世界的数据集：
1）ML-1M
是个关于电影推荐的数据集，由来自6036个用户的，对于2445个项目的大约100万个明确的评分（范围从1到5）。它的KGs是由微软satori构建的，其置信度大于0.9
2）LFM-1b
一个音乐数据集，记录了艺术家、专辑、曲目、用户以及个人的收听事件。包含了来自12134个用户的15471个项目的大约300万个评级。它的KGs是通过标题匹配建立的
3）AZ-book.
记录了用户对于图书的偏好。该数据集记录了关于用户、项目、评级和事件时间戳的信息。该数据集包含了大约50万条来自7000名用户对于9854个项目的记录。它的KGs是通过标题匹配建立的

该论文将评分装换为二进制的反馈：如果项目被用户评分，则条目标记为1；否则标记为0。

对比的baseline

1）FM
一种特征交互建模因子分解方法。本篇论文将用户、项目和相关KG知识的标识连接起来作为输入特征
2）NFM
一种基于因子分解的方法，无缝的结合了神经网络的线性和非线性来建模用户-项目交互
3）GC-MC
用于矩阵完成的基于图的紫铜编码器框架，是一个基于GCN的推荐模型。该baseline通过图卷积矩阵完成对于用户项的编码
4）CKE
一种基于正则化的方法。该模型结合了结构、文本和视觉知识，并共同学习推荐。
5）MCRec
通过更加精细的元路径来连接用户和项目的协同关注模型，该模型能学习到上下文表示。共同关注机制以相互增强的方式改进了基于元路径的上下文、用户和项目表示
6）KGCN
利用GCN从KG收集高阶邻域信息。为了找到用户可能更感兴趣的邻域，它使用用户表示关注不同的关系来计算邻域的权重
7）RippleNet
一种类似记忆网络的方法，通过用户的相关项目来表示用户。该模型使用KG中的所有相关实体来传播用户的推荐表示
8）KGAT
一个配备了图attention网络的GNN推荐模型。使用知识图和用户项目图的混合结构作为协作知识图。采用了一种注意力机制来区分邻居的重要性

总结

本文提出了MVIN，一种基于GNN的推荐模型，从用户视图和实体视图两方面改进了项目的表示

该模型基于用户视图和实体视图的特性，再用户试图中收集个性化的知识信息并进一步考虑layers（实体视图）之间的差异，最终增强项目表示

在实际数据上的测试验证了MVIN的优越性，消融实验验证了各部分的有效性。提出的模块是通用的，所以可以应用于以知识图形式利用结构化信息的场合，比如社交网络与实体上下文中，能够有较为广泛的应用

Reference

一定一定能在讲论文之前写出完美的稿子！一定可以！！！！
小暮加油！！！！