论文链接：https://arxiv.org/abs/2209.06644
摘要：
顺序推荐系统通过捕捉用户的兴趣漂移显示出有效的建议。现有的序列模型有两组：以用户为中心的模型和以项目为中心的模型。以用户为中心的模型基于每个用户的连续消费历史来捕捉个性化的兴趣漂移，但没有明确考虑用户对物品的兴趣是否会持续超过训练时间，即兴趣可持续性。另一方面，以项目为中心的模型考虑了用户的普遍兴趣在训练时间后是否持续，但它不是个性化的。在这项工作中，我们提出了一个利用这两个类别的模型的推荐系统。我们提出的模型捕捉了个性化兴趣的可持续性，表明每个用户对物品的兴趣是否会持续超过训练时间。我们首先制定了一个任务，该任务需要根据用户的消费历史来预测每个用户在最近的训练时间内会消费哪些物品。然后，我们提出了简单而有效的方案来增加用户稀疏的消费历史。大量实验表明，所提出的模型在 11 个真实数据集上优于 10 个基线模型。代码：https://github.com/dmhyun/PERIS。
1 引言
推荐系统已经成为一种不可或缺的技术，可以从大量候选项目目录中为用户提供吸引人的项目（例如产品或服务）[1]。最近的研究集中在顺序推荐系统上，该系统捕捉用户从过去到最近的兴趣，以根据用户的顺序消费历史准确地推荐有吸引力的商品 [10,11,15,16]。根据他们如何利用消费的顺序历史，有两组顺序模型捕获兴趣漂移：i）以用户为中心的模型和 ii）以项目为中心的模型。
以用户为中心的模型根据每个用户消费项目的时间顺序捕捉每个用户对项目的兴趣漂移 [15, 16]（图 1a）。因此，以用户为中心的模型可以跟踪随时间推移的个性化兴趣漂移。然而，以用户为中心的模型并没有明确考虑用户的兴趣是否会持续超过训练时间。具体来说，以用户为中心的模型基于下一个项目预测来学习用户表示（图 1a），因此用户表示只反映了用户的兴趣，直到用户最后一次消费。例如，截至 2019 年消费项目的用户的表示仅包含截至 2019 年的用户兴趣，这可能不准确，无法在2022 年（即训练时间之后），由于长期没有消费，例如图 1a 中的一条长红线。
?
以项目为中心的模型利用所有用户对每个项目的消费历史来捕捉用户对每个项目的普遍兴趣 [10, 27]（图 1b）。在最近的一项工作 [10] 中，该模型捕获了用户对每个项目的普遍兴趣是否会持续超过训练时间，这个概念被称为兴趣可持续性。具体来说，它明确预测每个项目是否会在最近一段时间的训练数据中被消费，即图 1b 中的灰色框。因此，与以用户为中心的模型相比，以项目为中心的模型学习到的用户兴趣可以更好地与用户对测试时间（即未来）的兴趣保持一致，因为缩短了用户的时间间隔。捕获最后一个兴趣和测试时间，即图 1b 中的一条短蓝线。然而，该模型仅了解用户的非个性化兴趣是否持续超过训练时间，因此以物品为中心的模型即使对不同口味的用户也为物品分配相同的兴趣可持续性，例如，向一个人推荐普遍饮用的咖啡谁有咖啡因过敏。
受这些限制的启发，我们提出了一个推荐系统，该系统既能利用以用户为中心的模型，也能利用以项目为中心的模型，同时解决缺点。我们的方法，个性化兴趣可持续性感知推荐系统（PERIS），通过预测每个用户将在最近的训练时间段内消费哪些项目来学习每个用户的兴趣可持续性，即图 1c 中的灰色框。因此，PERIS 可以通过考虑每个用户在最近一段时间的训练数据中的消费情况来学习项目的个性化兴趣可持续性，而以用户为中心或以项目为中心的模型都无法学习到这一点。然而，预测每个用户在最近的训练时间段内可能消费的项目并非易事，因为大多数用户对每个项目的消费历史不足，例如，在 Yelp 数据中，用户平均每个项目有 2.6 次交互。为此，我们设计了简单而有效的方案，以内在和外在的方式补充用户稀疏的消费历史。
内在方案基于用户消费的其他项目来增加每个用户对项目的消费历史。它的基本思想是，如果用户最近消费了类似的物品（例如卡布奇诺），则假设用户对某项物品（例如，浓缩咖啡）的兴趣会持续下去。因此，如果用户消费了各种物品，内在方案有利于补充每个用户对某个物品的消费历史。此外，我们设计了外部方案，通过参考其他志同道合的用户的消费历史来补充目标用户的消费历史。这个想法是，我们可以通过志同道合的用户（例如，其他素食者）对这些项目的兴趣来推断目标用户（例如，素食者）对项目（例如，食物）的兴趣。具体来说，外部方案训练模型来预测志趣相投的用户未来的兴趣，以推断目标用户的兴趣。
实验表明，PERIS 在 11 个真实数据集上优于 10 个基线推荐系统，例如通用、以用户为中心和以项目为中心的模型。此外，我们观察到，与基线模型相比，PERIS 在自用户上次消费后的不同时间段内持续提高推荐准确性，这意味着个性化兴趣可持续性有利于准确推断用户的兴趣漂移。此外，我们观察到 PERIS 成功地捕捉到了个性化兴趣的可持续性，而现有的以用户和项目为中心的顺序推荐系统并未完全捕捉到这一点。
2 相关工作
2.1 一般推荐系统
一般推荐系统从一组消费项目中学习每个用户的偏好，即消费项目之间没有订单信息。贝叶斯个性化排名（BPR）[23] 制定了成对排名损失来训练推荐系统。 CML [9]采用度量学习来训练一个推荐系统来满足三角不等式，这是广泛使用的内积运算无法满足的。 TransCF [21] 通过将翻译向量应用于用户和项目来扩展 CML。 SML [14] 还通过结合项目侧训练目标和可训练的边距参数来增强 CML。 SimpleX [17] 是一个基于对比学习的模型，它优于最近的推荐系统，包括基于度量学习的模型。但是，一般模型不利用用户消费历史中的订单信息来跟踪他们的兴趣漂移。
2.2 顺序推荐系统
2.2.1 以用户为中心的顺序模型。
以用户为中心的模型主要利用消费物品的订单信息来跟踪用户的兴趣漂移。基于循环神经网络 (RNN) 的模型 [2] 自然地处理消费项目的顺序性质。类似地，基于卷积神经网络 (CNN) 的模型 [16, 24] 将连续项目视为具有卷积运算的图像，以计算项目之间的交互。与 RNN 和 CNN 相比，SASRec [11] 将自我注意机制 [25] 应用于推荐系统，以捕获消费项目之间的长期依赖关系。 TiSASRec [13] 通过对连续消费项目之间的时间间隔进行建模来扩展 SASRec [11]。最近，LSAN [15] 基于 CNN 和 self-attention 模块捕获消费项目之间的本地和全局交互。
尽管取得了成功，但这些模型并未明确考虑用户的兴趣是否会持续超过训练时间，因为它们取决于下一个项目的预测。 PERIS 通过预测用户在训练时间的最近一段时间内的消费而不是下一个项目预测中的整个训练时间来了解每个用户可能在训练时间之外消费哪些项目。
2.2.2 以项目为中心的序列模型。
以项目为中心的顺序推荐是一个研究不足的话题。与以用户为中心的模型相比，以项目为中心的模型通过利用所有用户对每个项目的消费历史记录来捕获用户对每个项目的一般兴趣漂移。以前的以物品为中心的工作 [27] 考虑到最后一次消费每个物品后的时间段，以预测未来物品的重复消费。 CRIS [10]通过预测每个项目是否在最近的训练时间段内被消费，来了解用户对项目的普遍兴趣是否会持续到未来。最近的以项目为中心的模型 [10] 显示出比以用户为中心的模型更好的推荐准确性。
然而，由于这些模型只学习非个性化的兴趣漂移，它们倾向于推荐一般消费的物品，而不考虑每个用户的口味，例如素食主义者或非素食主义者。 PERIS 通过预测每个用户的消费来捕捉个性化兴趣可持续性来解决这个问题，而不是像在以项目为中心的模型中那样预测所有用户对每个项目的消费。
3 PERIS：提出的方法
我们描述了问题（第 3.1 节）和一项新任务，以预测每个用户对项目的兴趣是否持续超过训练时间（第 3.2 节）。然而，由于用户的消费历史稀疏，仅根据用户固有的消费历史成功执行任务并非易事。为此，我们提出了简单而有效的内在（§3.3）和外在（§3.4）方案来补充用户稀疏的消费历史。此外，我们通过采用传统的偏好学习（§3.5）来补充新引入的任务的标签噪声。我们最后描述了训练损失和推理分数（§3.6）。
3.1 问题表述
令 D = {(𝑢, 𝑖, 𝑡)|用户 𝑢 在时间 𝑡} 与项目 𝑖 交互，作为训练数据，U 和 I 是用户和项目的集合。作为输入，模型采用用户𝑢和用户的消费历史，即?𝑢 = {(𝑖, 𝑡)|用户 𝑢 在时间 𝑡} 与项目 𝑖 进行了交互。在这项工作中，推荐系统为用户推荐前 K 个项目。
3.2 个性化兴趣可持续性
为了克服以用户和物品为中心的模型的局限性，我们提出了一项任务，该任务需要预测每个用户在最近的训练时间段内消费了哪些物品。在此任务下训练的推荐系统可以通过预测每个用户的消费来学习个性化兴趣，就像在以用户为中心的模型中一样。此外，该任务需要预测用户在最近一段时间的训练时间内发生的消费。因此，该模型可以像以项目为中心的模型一样关注用户最近的兴趣，由于测试时间和捕获用户最后一次兴趣的时间之间的时间很短，因此可以提供准确的推荐。
3.2.1 PIS 预测任务。该任务的目标是预测个性化兴趣可持续性（PIS），定义为每个用户对项目的兴趣是否可能持续到未来。我们将最近一段时间的训练时间视为未来，并根据预定义的时间 𝑇 控制最近一段时间的长度，这是一个可调参数。具体来说，如图 2a 所示，我们根据预定义的时间 𝑇 将用户的消费历史 ?𝑢 分为过去和最近的部分：
?
?其中 ?𝑝 𝑢 和 ?𝑟 𝑢 是每个用户消费历史 ?𝑢 的过去和最近部分。鉴于划分的消费历史，所提出的任务需要根据用户之前的历史 ?𝑝 𝑢 预测每个用户 𝑢 在最近一段时间内消费了哪些物品，即 {𝑖|𝑖 ∈ ?𝑟 𝑢 }。形式上，我们定义表示项目 𝑖 在最近的训练时间段内是否被用户 𝑢 消费的标签：
?
?其中𝑦𝑢,𝑖是二元标签，1 → {0, 1} 是指示函数。
3.2.2 PIS 预测的特征。
作为执行此任务的特征，我们考虑用户的时间消费模式，即用户消费商品的时间。我们首先分析用户属于每个标签的时间消费模式如何区分 Yelp 数据（图 3）。我们重叠每个用户𝑢在过去部分?𝑝𝑢内每个消费项目𝑖的消费时间，即定义特征的时期，根据用户𝑢是否在最近一段时间内消费项目𝑖（图3a）或不（图3b） .基于分析，我们观察到标签基于时间消费模式具有区分性，即，最近消费的越多，未来消费的可能性就越大，即𝑦𝑢，𝑖 = 1（图 3a），而另一种情况没有显示出如此明确的消费模式，即𝑦𝑢，𝑖 = 0（图 3b）。
?
因此，我们利用用户 𝑢 对项目 𝑖 的时间消费模式作为输入特征，如下所示：
?其中𝐶𝑢，𝑖是一组用户𝑢对物品𝑖的消费时间。然后，我们将消耗时间 𝐶𝑢，𝑖 离散化为具有相等宽度 𝑤 的顺序频率箱（图 2b），以捕获消耗的时间动态。我们将预定义时间𝑇之前的整个时间段（即定义特征的时间段）划分为一组时间间隔：
?其中𝑉𝑛 是第 𝑛 频率 bin 的时间间隔，𝑤 是 bin 宽度（例如，一个月），𝐿 ∈ {𝑡|𝑡 ∈ D，𝑡 < 𝑇} 是整个周期内用于定义特征的一组消耗时间， 𝑁 是由𝑁 = ?(max(𝐿) - min(𝐿))/𝑤? 计算的时间箱数。
然后，我们根据相应的时间间隔将每个消耗时间𝑡分配到时间箱中，如下所示：
其中 b 是第 n 个频率 bin。从定义中，我们可以得到频率箱的序列，即bu，i∈RN。?
3.2.3 培训目标。给定特征，我们预测标签𝑦𝑢，𝑖定义为用户𝑢在最近一段时间内是否使用预测模型消费项目𝑖，使得:
?
?其中 ^𝑦𝑢,𝑖 是预测分数，𝑓𝑠 是从序列特征 b𝑢,𝑖 预测标签 𝑦𝑢,𝑖 的预测模型。详细架构在以下部分（第 3.2.4 节）中提供。
然后我们在以下损失下训练预测模型𝑓𝑠：
?我们注意到，对于每个用户，我们将训练的候选项目设置为每个用户消费的项目，即 {𝑖|𝑖 ∈ ?𝑢 }，而不是所有项目。因此，我们可以通过关注用户感兴趣的项目来更有效地训练模型，而不是详尽地预测用户对每个项目的消费。
训练后，我们可以通过将频率箱扩展到整个训练时间并将扩展的频率箱馈送到训练模型𝑓𝑠来预测用户在训练时间之外的兴趣：
?其中ˉ𝑉𝑛是直到训练时间结束的扩展时间间隔，ˉ𝐿 ∈ {𝑡|𝑡 ∈ 𝐷} 是训练数据 D 中的一组消耗时间，𝑀 ≥ 𝑁 其中𝑀 = ?(max( ˉ 𝐿) - min(ˉ𝐿))/𝑤?。我们可以根据公式 2 获得扩展的频率区间 (b𝑢,𝑖 ∈ R𝑀)，新的时间间隔为𝑉ˉ𝑛, ?𝑛 ∈ {1, ..., 𝑀}。
3.2.4 预测模型细节。
我们在这里提供预测模型𝑓𝑠的详细信息。在这项工作中，我们设计了一个类似于 [18] 的基于原型的分类器，因为我们观察到它比其他替代方案（例如多层感知器）产生更高的准确度，这要归功于少量的参数以避免过度拟合：
其中 C ∈ R𝑘 是一个可训练参数，表示一个正类（即𝑦𝑢，𝑖 = 1），称为原型，𝑑 是欧几里得距离。为了捕捉特征 b𝑢,𝑖 的序列动态，我们使用长短期记忆 (LSTM) [8]，预测模型 𝑓𝑠 根据 LSTM 的最后一个隐藏表示 h𝑢,𝑖 ∈ R𝑘 预测标签。因此，模型𝑓𝑠将频率区间 b𝑢,𝑖（即特征）分类为正标签，即𝑦^𝑢,𝑖 = 1，如果其隐藏表示 h𝑢,𝑖 接近原型 C，反之亦然。
剩下的一个问题是用户在某个域中只消费了几次项目，这会由于稀疏的消费历史而降低预测准确性，例如，大多数频率区间 b𝑢，𝑖 中的零值，如图 2b 所示。为了解决稀疏问题，我们设计了内在和外在的补充方案。
?3.3 内在补充方案
我们首先提出了一种内在方案（图 4），通过根据用户消费的其他商品增加每个用户对某商品的消费历史来缓解数据稀疏性。它的基本思想是，如果用户最近消费了类似的物品（例如卡布奇诺），则假设用户对某物品（例如浓缩咖啡）的兴趣会持续下去。
?
形式上，这个内在方案的目标是通过利用用户 𝑢 基于项目相似性消费的其他项目的特征来增强用户 𝑢 对项目 𝑖 的特征，即 b𝑢,𝑖 ：
?其中 bIui表示用户 𝑢 通过聚合用户 𝑢 的其他消费项目的特征对项目 𝑖 的增强特征。此外，sim 是归一化余弦相似度（即 sim(·,·) = (cos(·,·)+1)/2+𝜏 ），具有可调缩放参数𝜏 ∈ R，v𝑖 ∈ R𝑘 是嵌入项目 𝑖 的向量。因此，该内在方案通过参考用户消费的其他高度相关物品的消费历史来补充每个用户对目标物品的消费历史。然后我们做出如下预测：
?
其中 ^𝑦𝐼 𝑢,𝑖 是基于内在方案特征的预测，即 b𝐼 𝑢,𝑖 。此外，我们包括一个用户-项目联合表示（即 e𝑢，𝑖 = u𝑢 + v𝑖）作为附加输入，以提供目标用户 𝑢 和项目 𝑖 信息的模型，其中 u𝑢 ∈ R𝑘 是用户的嵌入向量𝑢。请注意，我们采用预热步骤来准备嵌入向量，因为它们是随机初始化的，详细信息在下一节（第 3.6 节）中提供。
3.4 外在补充方案
我们然后提出一个外在方案（图4），通过参考其他志同道合的用户（例如，其他素食主义者）的消费历史来补充每个用户（例如，素食主义者）的消费历史。简而言之，目标是通过志同道合的用户对这些项目的兴趣来推断目标用户对这些项目的兴趣。
我们首先为目标项目聚合志同道合的用户特征𝑖：
其中 ?b𝑢′,𝑖 是目标用户 𝑢 的志同道合用户对目标项目 𝑖 的聚合特征，其他用户用 𝑢′ 表示。 𝐵𝑢，𝑖是除用户𝑢之外的其他消费目标物品𝑖的用户的特征集，𝛽𝑢,𝑢′是目标用户𝑢与其他用户𝑢′的相似度，形式化如下：
?
相似度函数 sim 与公式 4 相同，公式 4 用余弦相似度定义。
我们还根据等式 1 设置了志同道合的用户对目标项目 𝑖 的消费标签，这样：
?其中聚合标签𝑦𝐸ui 表示志同道合的用户消费目标物品𝑖，如果他们的加权消费大于一次消费，即物品𝑖是至少消耗一次。给定外部特征 b𝐸 𝑢,𝑖 和标签 𝑦𝐸 𝑢,𝑖 ，我们根据公式 3 执行预测。
?3.5 偏好学习
PIS 预测任务使模型能够预测每个用户将来会消费哪些项目，但是标签𝑦𝑢，𝑖可能是有噪声的，因为即使用户在最近一段时间，例如用户的消费时间长。为了补充标签噪声，我们将 PERIS 与传统偏好学习一起训练，后者使用真实标签（即消费项目）训练模型。在现有方法中，我们采用基于度量学习的原型方法 [10, 20]，因为它在经验上显示出比 BPR [19] 等传统方法更好的结果。
我们首先获得用户-项目对的联合表示：
其中 e𝑢,𝑖 ∈ R𝑘 是联合表示。鉴于联合代表其中 e𝑢,𝑖 ∈ R𝑘 是联合表示。给定联合表示，偏好学习公式如下：
其中𝑑是欧几里德距离，𝑖+是用户消费的正项目，𝑖?是用户不消费的负项目，𝑚 ∈ R是正负交互之间的边距（即，e𝑢，𝑖+和e𝑢， 𝑖? ，分别）来自作为可训练参数（即原型）的原型 P ∈ R𝑘，并且 [·]+ 表示 max(·, 0)。因此，用户 𝑢 越有可能消费项目 𝑖，联合表示 e𝑢,𝑖 越接近原型 P，反之亦然。
3.6 模型训练和推理
最终损失是训练目标的组合：
其中𝜆和𝜇是用于控制损失之间平衡的可调系数，L𝐼是使用内在方案计算的损失（
，
并且 L𝐸 是使用外在方案计算的损失
?
。我们还采用热身步骤来训练 PERIS，只损失了偏好学习 L𝑃，因为内在和外在方案使用的相似度是基于用户和项目嵌入向量计算的，否则它们是随机初始化的。在预热步骤之后，我们用最终损失 L𝐹 训练 PERIS。
?然后我们计算推荐分数如下：
?
?其中 𝑟𝑢,𝑖 ∈ R 是最终推荐分数，𝑦^𝐼 𝑢,𝑖 和 ^𝑦𝐸? 𝑢,𝑖是用户𝑢对项目𝑖的兴趣来自内在和外在方案，并且^𝑦𝑢𝑢,𝑖 = -𝑑(P, e ,𝑖 ) 是来自偏好学习的兴趣。
与以项目为中心的模型的比较。
最近的以项目为中心的模型 [10] 学习了非个性化兴趣可持续性（NIS）。然而，PERIS在三个方面推进了利益可持续性。首先，我们制定了 PIS，它可以更好地跟踪用户的兴趣漂移，这要归功于与所有用户的一般兴趣相比，每个用户的兴趣的考虑。此外，我们设计了简单而有效的方案来补充用户稀疏的消费历史，并观察到，如果没有这些方案，PIS 预测任务会由于用户的稀疏消费历史而损害推荐准确性。其次，PERIS 是一种端到端的方法，而以项目为中心的模型由两个独立的训练步骤组成。以项目为中心的方法首先在训练推荐系统之前获得 NIS，然后在训练期间固定 NIS 的同时训练推荐系统。因此，由于 NIS 是在不考虑推荐性能的情况下获得的，因此 NIS 对于推荐可能是次优的。相比之下，我们通过同时执行两个任务来训练 PERIS，即 PIS 预测任务和偏好学习，这使得在考虑推荐性能的情况下学习 PIS。第三，PERIS可以通过将新消费的物品添加到消费历史中来轻松更新每个用户的PIS，但是以物品为中心的模型需要重新训练模型以更新用户的新消费，因为模型依赖于固定的NIS。因此，正如我们将在实验中看到的那样，PERIS 大大提高了推荐的准确性。
4 实验
4.1 实验设置
4.1.1 数据集。
我们将 PERIS 与 11 个真实数据集上的 10 个基线推荐系统进行比较。亚马逊数据集Amazon datasets 1 包含用户在产品购物领域的消费历史，并且已被普遍用于评估推荐系统的基准数据集 [16, 17]。我们使用 9 个类别的数据集（即表 1 中从手机到 CD）来考虑不同领域的推荐场景。 Yelp dataset2 包含用户在各种服务中的消费历史，例如酒店和餐馆。 Google 数据集 3 包含用户与 Google 地图中的企业的互动。我们注意到，已发布的 Yelp 数据集是由 Yelp 系统有意过滤的，这使得数据在项目方面高度密集，即平均每个项目有 28.1 次交互。因此，我们通过随机删除与项目相关的交互，使 Yelp 数据集具有与原始数据（即亚马逊和谷歌数据集）相似的统计数据。在所有数据集上，我们通过删除消费少于 10 个项目的用户来过滤噪声数据 [9, 14, 24]。我们还排除了冷启动用户/项目，即没有出现在训练时间的用户/项目，因为解决冷启动问题是一个单独的问题 [6, 26]，因此超出了这项工作的范围。表 1 报告了数据集的统计数据。
4.1.2 基线。
我们考虑以下基线模型。
1）通用推荐系统
-BPR [23]基于正负项的成对排名损失来学习用户的偏好。
? CML [9] 通过基于距离的度量学习解决了内积的三角不等式问题。
? SML [14] 是 CML 的扩展，采用对称学习机制和自适应余量参数。
? SimpleX (SimX) [17] 是使用余弦相似度和对比学习的最先进的通用模型。
2）以用户为中心的顺序推荐系统
-Caser [24]采用卷积神经网络（CNN）来捕获每个用户消费历史中的本地上下文。
? SASRec (SSR) [11] 利用自我注意来捕捉消费历史中项目之间的长期依赖关系。
? TiSASRec (TSSR) [13] 通过对用户消费历史中的项目之间的时间间隔进行建模来扩展 SASRec。
? HGN [16] 基于分层门控网络捕获用户的长期和短期兴趣。
? LSAN [15] 是最先进的以用户为中心的顺序模型，它结合了 CNN 和自注意力来捕获本地和全局上下文。
3）以项目为中心的顺序推荐系统
- CRIS [10] 是最先进的以项目为中心的顺序模型，它从每个项目的所有用户消费历史中捕获用户的一般兴趣漂移。
4.1.3 评估协议。我们根据交互时间将数据集分为训练、验证和测试数据。具体而言，我们按照[10]将最后一个月，即30天作为测试数据。然后我们将最后一个月的剩余数据作为验证数据，最后剩下的数据作为训练数据。至于性能指标，我们使用两个广泛使用的指标：命中率 (HR) 和归一化折扣累积增益 (nDCG)。 HR 衡量来自模型的推荐是否包括用户消费的项目。此外，nDCG 还考虑了消费项??目在推荐列表中的位置，即位置越高，得分越高。我们考虑 top-K 推荐，因此报告 HR@K(H@K) 和 nDCG@K (N@K)。按照常用的评估协议 [4, 10, 13]，我们测量每个消费项目的指标，并与目标用户未消费的 100 个随机抽样项目进行比较。我们运行模型 5 次并报告指标的平均值 [5, 16]。
?
4.1.4 实施细节。为了公平比较，我们在基于 PyTorch 库 [22] 的统一框架中实现了 PERIS 和基线模型。我们通过网格搜索调整它们的超参数。我们在 {0.01, 0.005, 0.001} 中调整 Adam 优化器 [12] 的学习率，在 {64, 128, 256, 512, 1024, 2048} 中调整小批量大小，在{16, 32, 64, 128}，我们使用 Xavier 初始化 [7] 在所有模型中初始化用户和项目嵌入。我们还将基于 CML 的模型（包括 PERIS）的用户和项目嵌入标准化为一个单位球体，以缓解 [3, 9] 中建议的维度灾难问题。我们调整了他们文献中报道的基线模型的其他超参数。在 PERIS 的情况下，𝜆 和 𝜇 在 {0.1, 0.3, 0.5, 0.7, 1} 中调整，在 {4, 8, 12} 周内调整 bin 宽度𝑤，在 {0, 0.3, 0.5 中调整缩放参数𝜏， 0.7}。我们调整用于定义最近时期的预定义时间（即𝑇），使其最近时期为 {16、32、64} 周，并将前 5 个时期设置为热身步骤。在 PIS 任务中，我们通过控制负标签的损失规模来处理类不平衡，即𝑦𝑢，𝑖 = 0，因子 𝛾 在 {1, 0.1, 0.01} 内。我们还使用最近一半的频率区间 b𝑢,𝑖 来节省计算时间，因为我们观察到过去一半的频率区间对推荐准确性的影响不大。
4.2 推荐精度对比
我们将推荐系统的推荐准确率列在表 2 中，并进行以下观察。 1) PERIS 在 11 个真实世界数据集上显着优于基线模型，包括通用、以用户为中心和以项目为中心的顺序模型。该结果表明了结合 PIS 的有效性，即每个用户对项目的兴趣是否会在训练时间之后，在各个领域持续。我们在以下部分中对 PERIS 进行了详细分析，以了解其行为并确保 PIS 确实对于提高推荐准确性至关重要。 2）以项目为中心的顺序模型，即 CRIS，比以用户为中心的模型（例如 LSAN）表现出更好的性能，表明兴趣可持续性的重要性，即使它仅在项目级别（即非个性化）考虑.然而，由于数据集的特性，CRIS 的表现并不总是优于 LSAN，例如在数字音乐和 Yelp 数据集上。相比之下，PERIS 同时利用了以用户为中心和以项目为中心的模型的优势，从而比任一类别的模型都具有更高的推荐准确度。 3）通用推荐系统，例如 SML 和 SimpleX，在没有对来自用户消费历史的序列信号进行建模的情况下，达到或优于以用户和项目为中心的顺序推荐系统的性能。尽管性能具有竞争力，PERIS 始终优于一般模型，这意味着从用户的连续消费历史推断 PIS 的有效性。此外，我们的实验表明，尽管已知序列模型比一般模型更准确，但与最近的一般模型相比，序列模型并没有始终如一地优越。
?
4.3 模型行为比较
在本节中，我们分析推荐系统的行为，以了解 PERIS 与基线模型相比的优势。由于篇幅限制，我们将测试数据上 HR@10 和 nDCG@10 的平均值报告为性能，但使用任何一个时结果都相似。
4.3.1 自用户上次消费以来的经过时间。在图 5 中，我们报告了模型针对不同用户组的推荐准确率除以自上次消费以来的经过时间，例如，0 < 𝑥 ≤ 4 是在 1 ～ 4 天内最后一次消费的用户组。测试时间。为了划分用户组，我们计算用户自上次消费以来经过的时间的百分位数，并使用第 25、第 50 和第 75 个百分位数作为阈值，例如，在 Health 数据集上分别为 0、4 和 58。
?
我们观察到，由于用户长时间不消费，自上次消费后经过的时间变长时，模型的性能会下降。我们有以下观察。 1）在这些模型中，与所有基线模型相比，PERIS 在不同的经过时间上不断提高推荐准确度。 2）PERIS 相对于 LSAN 的性能提升会随着时间的增加而变得更大，因为 LSAN 依赖于下一个项目预测，该预测仅在用户最后一次消费之前学习用户的兴趣，而 PERIS 通过执行 PIS 预测来学习用户最近的兴趣。 3) CRIS 在健康数据集上的表现优于 LSAN，因为 CRIS 通过预测是否有任何用户在最近的训练时间段内消费了每个项目来了解用户最近的兴趣。然而，CRIS 仅限于学习用户最近的个性化兴趣，因为它的预测任务被制定为项目级。因此，由于用户级预测任务，即 PIS 预测，PERIS 超过了 CRIS。 4) 与顺序模型相比，SimpleX 在过去的时间内表现出不一致的性能趋势，因为它不依赖于用户消费历史的顺序信息。然而，PERIS 始终优于 SimpleX，表明 PIS 形式的顺序信息的重要性。因此，这些观察结果表明，与现有基线模型相比，PIS 有利于准确推断用户的兴趣。
4.3.2 其他推荐系统中的 PIS。
我们调查其他基线模型是否可以捕获 PIS（图 6）。我们计算由其他基线模型生成的推荐列表与基于 PIS 分数生成的推荐列表之间的重叠率，即 𝜇 ^𝑦𝐼 𝑢,𝑖 + (1 - 𝜇) ^𝑦𝐸 𝑢,𝑖 由 PERIS 学习的公式 8 .在这个实验中，我们将测试数据中每个用户的前 10 个项目作为推荐列表。从结果中，我们做了几个观察：首先，包括以用户和项目为中心的模型的基线模型与基于 PIS 分数生成的推荐列表的重叠率低于 PERIS。因此，他们学习用户未来兴趣的方法不能完全捕捉到 PIS，而 PERIS 捕捉到了 PIS，这要归功于 PIS 的显式建模。其次，仅仅依赖于 PIS 分数可能会导致不准确的推荐，即两个数据集上的 PIS。这可能是由于标签噪声，因为 PIS 任务的标签不是真实标签而是伪标签。我们认为，通过将来自经典偏好学习的用户偏好得分与 PIS 得分相结合来解决标签噪声是有益的。
?
4.3.3 对变化的消费历史的敏感性。为了阐明 PERIS 的好处，我们将模型的敏感性与用户消费历史的时间变化进行了比较（图 7）。在这个实验中，我们将用户的消费历史，即每个用户的整个消费项目序列，从开始时间到相对的过去或未来按月移动，不区分它们，同时保持项目的顺序和间隔。然后，我们通过计算它们之间的重叠率来衡量移动用户消费历史后的推荐与原始推荐（即移动月份 = 0）的变化情况。我们将每个用户的前 10 个项目视为推荐列表。我们观察到，一般的、以用户为中心的和以商品为中心的基线模型（黑色虚线）对于消费历史转变是不变的，因为它们无法区分从不同时间开始的相同消费历史。具体来说，LSAN 只考虑消费历史中的订单信息，CRIS 不利用每个用户的消费历史。相比之下，PERIS 可以区分从不同时间开始的消费历史，这要归功于具有 b𝑢,𝑖 特征的 PIS，它考虑了每个用户消费物品的时间。因此，PERIS 可以产生比最先进的基线模型更多的个性化推荐，这支持了 PERIS 的卓越性能。
原始推荐列表与移动用户消费历史后列表的重叠率。
?
4.4 深入的模型分析我们提供实验来了解PERIS 的每个组件对验证数据的排名指标的影响。
4.4.1 补充方案消融研究。我们首先进行消融研究，以检查 PERIS 补充方案的效果。从表 3 中，我们得出以下观察结果：
1) 排除内在或外在方案（表中从第二行到第四行）会降低推荐准确性，因为缺少用于缓解用户稀疏性的补充方案消费历史。因此，两种补充方案对于成功捕获 PIS 以提高推荐准确性至关重要，而外部方案比内部方案更有效。
2）内在方案与外在方案（表中从第一行到第二行）一起使用时，可以提高推荐的准确性。该结果表明应将内在和外在两者结合在一起以实现更高的推荐准确性。
3）没有内在和外在方案训练的模型（表中的第四行）通常产生的推荐准确率低于仅在偏好学习上训练的模型（表中的第五行）。结果再次证实了普通 PIS 预测任务受到用户消费历史稀疏性的影响，导致 PIS 预测任务失败。因此，这两种补充方案对于成功执行 PIS 预测任务至关重要。
?
4.4.2 组件烧蚀研究。
我们进一步提供了关于 PERIS 组件的消融研究。
首先，我们研究用户的时间消费历史 b𝑢,𝑖 的影响，这是 PIS 预测任务的特征。我们使用最近的频率仓𝑏𝑁𝑢,𝑖而不是频率仓序列，即 b𝑢,𝑖。只取最后一个 bin 𝑏𝑁 𝑢,𝑖（表 3 中的最后一个 bin）的 PERIS 显示了推荐准确性的显着下降。因此，我们断言用户的顺序消费模式来预测 PIS 的必要性。其次，我们排除了使用固有方案（表 3 中的 -e𝑢，𝑖）执行 PIS 预测任务的用户-项目联合表示，并观察到大多数情况下推荐准确性的下降。该结果确定了用户和项目的联合信息在具有内在特征的训练时间之外预测他们对项目的兴趣的重要性，即 ^𝑦𝐼 𝑢,𝑖 = 𝑓𝑠 (b𝐼 𝑢,𝑖 +e𝑢,𝑖 )。相反，将用户项目表示 e𝑢,𝑖 包含到外部特征 b𝐸 𝑢,𝑖 会降低推荐准确度（+ e𝑢,𝑖 到表 3 中的 Ext.），即𝑦?𝐸 𝑢,𝑖 = 𝑓𝑠 (b𝐸 𝑢 ,𝑖 + e𝑢,𝑖 )。我们推测包含目标用户-项目表示 e𝑢,𝑖 是有噪声的，因为外部方案的目标不是预测目标用户的兴趣，而是预测其他用户的兴趣。这些结果建议仅将联合表示 e𝑢,𝑖 包含到内在方案中。
4.4.3 平衡参数敏感性分析。
在图 8 中，我们分析了平衡项（即𝜆 和L𝐸）和偏好学习（即 L𝑃）和 𝜇 平衡内在方案 L𝐼 的损失和外在方案 L𝐸 的损失。在本实验中，我们使用 HR@10 和 nDCG@10 的平均值作为每个组合的值。通过分析（图 8），我们首先观察到仅在 PIS 任务（即𝜆 = 1）上训练的 PERIS 显示出推荐准确性的显着下降，因为模型仅根据用户是否消费项目中的项目来学习用户的兴趣。最近一段时间与否。我们推测，即使用户在最近一段时间内没有消费过某个商品，但用户对该商品的兴趣可以持续到未来，例如，用户的消费期很长。因此，为了减轻标签噪声，最好将使用真实标签（即用户消费）的偏好学习（即 L𝑃）与 PIS 预测任务结合起来。第二个观察结果是 𝜇 的最佳值在 0.3 左右。因此，其他志同道合的用户的兴趣对于推断目标用户对项目的兴趣至关重要，这再次证实了消融研究的观察结果（第 4.4.1 节）。
?
5 结论
在这项工作中，我们提出了一个推荐系统，该系统捕获了个性化兴趣可持续性（PIS），表明每个用户对项目的兴趣是否会持续超过训练时间，即直到测试时间。为了获得 PIS，我们制定了 PIS 预测任务，并设计了简单而有效的方案来补充用户稀疏的消费历史。实验表明，与 11 个真实数据集上的 10 个基线模型相比，所提出的模型（即 PERIS）提高了推荐准确性。此外，深入分析表明，PERIS 成功捕获了 PIS，而基线模型没有捕获 PIS，这是新引入的信息。