[人工智能] 推荐系统的基础算法和企业级设计

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 推荐系统的基础算法和企业级设计 -> 正文阅读

[人工智能]推荐系统的基础算法和企业级设计

算法讨论

基于统计学的推荐算法

本模块涉及到四个统计，分别是历史热门统计，近期热门统计，优质电影统计和各类别Top10优质电影统计。

首先“热门”我们这里的含义是评分个数，评分个数越多，热门性越大。所以历史热门统计直接对电影id做分组并求和。近期热门需要先对时间做分组排序，然后相同时间的再对电影id做分组求和。

“优质”的含义是评分平均值，但这是加权平均。

影响电影“优质性”的因素有电影的平均得分、对该电影的评分人数。之所以将对电影的评分人数拉进来作为考量，是因为假设一部电影只有一个人评分，然后是最高的5分；另一部电影有一万人评分，最后平均分是4.8分，那我们就认为后一部电影要比前一部电影好，因为它去除了个人的偏见和喜好。
我们将利用IMDB的加权平均算法计算电影的最终平均分：

$WR=\frac{v}{v+m}R+\frac{m}{v+m}C$

其中WR（Weighted Rating）代表最终的加权平均值。
v是对某部电影的评分数量。
m是参加公式计算的最小评分数量。
R是该电影的平均分。
C是所有电影的平均分。

从公式上看，它引入了评分人数以及整体电影的影响。观察两个极端：
如果 $v > > m$ ，则，也就是说 $WR\approx R$ ，当一部电影的评分人数极其多，那么我们最后的加权平均分和电影本身的平均分差不多。

如果 $v = m$ ，则 $WR=\frac{1}{2}(R+C)$ ，电影最终的评分将直接受到所有电影平均分的制约。

至于各类别的top10电影，由于每部电影的类别可能很多，所以我们需要把电影表和所有类别做笛卡尔乘积，筛选出包含某类别的数据。比如现在所有的类别为：


    val genres = List(
      "Action",
      "Adventure",
      "Animation",
      "Comedy",
      "Children",
      "Crime",
      "Documentary",
      "Drama",
      "Fantasy",
      "Film-Noir",
      "Horror",
      "Musical",
      "Mystery",
      "Romance",
      "Sci-Fi",
      "Thriller",
      "War",
      "Western"
    )

第一条电影数据为：

1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy

笛卡尔乘机后的结果是：

"Action",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Adventure",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Animation",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Comedy",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Children",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Crime",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Documentary",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Drama",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Fantasy",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Film-Noir",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Horror",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Musical",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Mystery",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Romance",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Sci-Fi",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Thriller",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"War",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Western"1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy

最后留下的是：

"Adventure",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Animation",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Children",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Comedy",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy
"Fantasy",1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy

将筛选后的结果根据类别group by，再根据每部电影的加权平均order by即可得到所有类别top10的优质电影。

LFM算法

LFM的全称是Latent Factor Model，即为隐藏因子模型。有监督学习中，我们常常会给物品打上标签，让数据根据这些标签进行学习。但是LFM是一种自我特征学习，它的特征是通过算法自己学成的，缺点就是无解释性。
比如有一个用户电影评分矩阵：

在这里插入图片描述

如果我们可以将其分解成两个矩阵的乘积：

在这里插入图片描述

f1，f2，f3，f4就是所谓的隐藏因子，我们不知道它是什么，它可以是浪漫因素，恐怖因素等等的。从数值上来说，它具备一定的解释性。比如对于user3来说，他的f3因素很大，而movie2的f3因素也很大，这个f3因素暂且可以理解为科幻片因素，所以user3这一行乘以movie2这一列的值就会很大（8），实际理解为评分很高。如果能够知道用户-特征矩阵和电影-特征矩阵的话，把它们乘回去就可以知道原评分矩阵中缺失的分数了。

更一般的，我们记 $\hat{R_{ui}}$ 为预测评分矩阵，其中 $u$ 表示每个用户， $i$ 表示每个物品或电影。

记 $P$ 为用户-特征矩阵， $Q$ 为物品-特征矩阵， $K$ 表示特征数。于是预测矩阵为：

在这里插入图片描述

记原评分矩阵为 $R_{ui}$ ，有评分数据的集合为 $R_0$ ，损失函数为：

在这里插入图片描述

$\lambda$ 项为正则化项，为了防止过拟合。可以想到，如果 $K$ 值很大，那么 $\lambda$ 项就会很大，损失函数的表现就会很差。

求解的最小值的方法之一是交替最小二乘法，即ALS。

因为 $P$ ， $Q$ 两个矩阵都未知，所以我们可以先固定 $P$ ，求出最佳的 $Q$ ，再用上一步求出的 $Q$ 再去求 $P$ ，如此下去，直到 $C$ 收敛。

假设固定 $Q$ ，求最佳的 $P$ 。对于用户-特征矩阵来说，每一个用户 $u$ 是相互独立的，所以：

在这里插入图片描述

这样我们就把每个用户独立出来了。这时我们只需要求一个用户它的特征向量即可，所有用户的特征向量最终构成 $P$ 。

令
在这里插入图片描述

，则

在这里插入图片描述

令
在这里插入图片描述

，得到

在这里插入图片描述

由于

在这里插入图片描述

，于是

在这里插入图片描述

我们把每一个 $P_u$ 求出来就会得到 $P$ 。然后反过来用相同的办法求 $Q$ 。

求解 $C$ 的另一个方法是梯度下降法，其实 $C$ 的最小值问题的本质就是线性回归。交替最小二乘的精确求解和梯度下降的逼近求解本人都用python代码进行了实现，源码地址为：https://gitee.com/resuscitateocean/python_meachine_learning。

在spark中，只需调用ALS.train方法即可。当然，。当然， $K$ 的值， $\lambda$ 的值，我们需要传入并不断实验。当spark给出预测矩阵时，我们可以和原评分矩阵中的对应值相减然后平方求和（均方根误差）来评估模型的好坏。另外，spark还提供了隐式数据的训练。像电影评分类的数据，称为显性数据，而类似有没有点击过，有没有买过，有没有浏览过等等0-1类型的数据，称为隐式的评分，在train方法中需要传入implicitPrefs=true来训练这些数据。

还有需要指出的一点是，我们直接将原始数据带入模型进行计算了，然而原始数据可能会存在用户的偏见。比如user1和user2都很喜欢动作片，而user1是很严格的用户，他对《叶问1》，《叶问2》，《叶问3》的评分为（2，2，2），而user2是很宽松的用户，他对三部影片的评分为（5，5，5），从数据上看，user1和user2并非相似的用户，而实际上，他们都是喜欢动作片的。因此，我们需要对原始数据做一些处理，具体可以参考Improve_recommendation_system_by_integration这篇文章。

LFM是应用广泛的模型，但是它必须要有历史数据，也就是说，没有评过分的用户是无法进入模型计算的。从损失函数①我们也可以看到，如果用户没有评过分，那么前一项为，而正则化项 $\lambda$ 会鼓励参数尽可能的小，其结果就是 $P_u$ 全是0， $Q_i$ 全是0，最后乘出的结果也是0，这显然是不合理的。

所以LFM无法解决冷启动问题。当新用户注册时，我们没办法给出推荐。所以很多app在你注册时会让你选择感兴趣的领域，比如音乐类的app，会让你挑选几种喜欢的口味的音乐。本项目是电影推荐，所以我们可以用电影的类别作为特征值，使用TF-IDF算法得到电影之间的相似度矩阵，当新用户注册时，我们可以给出一个页面让其选择感兴趣的类别，然后用电影相似度矩阵给出推荐。这便是本文第一部分介绍的非协同过滤（基于内容的推荐）。

实时推荐算法

LFM模型的副产品是电影相似度矩阵，这个可以存到数据库中。实时推荐将会用到这个矩阵。

现在一个用户看了某部电影，然后给出了评分，我们将依靠这条消息进行及时推荐。

难点在于，如果用户打了很低的分数，比如说1分，这对推荐系统是个考量。用户看了这部影片，说明他很感兴趣，但是又给了低分，说明他很失望。那我们究竟是推送类似电影呢还是不推送呢。

此时我们的算法是如此设计的：

首先，找到这部电影的相似电影（可以从电影相似度矩阵中找到），比如说，拿出最相似的20部，以此作为备选电影。

然后对每一部备选电影做考察。在缓存数据库中会存有用户最近的评分电影，比如说，有10部，我们取出一部备选电影，找到这部备选电影和用户最近的评分电影的相似度，用这个相似度乘以用户最近评分电影的评分求和，然后除以所有的相似度之和，相当于是做了一个加权。

接着我们定义评分大于等于3的电影为好电影，小于3的为差电影，如果用户最近评分中好电影多，我们会增大推荐力度，否则减小。

记 $E_{uq}$ 为用户user的某一部备选电影 $q$ 的推荐等级分。

记用户的最近 $L$ 次评分为 $R L$ ，用户新打评分的电影为 $p$ ，与 $p$ 类似的电影的集合为 $S$ ，于是 $p\in S$ 。

我们有

在这里插入图片描述

$s i m (q, r)$ 表示备选电影 $q$ 和最近评分电影 $r$ 的相似度。 $R_r$ 为 $r$ 的评分。

$sim\_sum$ 为备选电影 $q$ 和所有的 $r$ 相似度之和，当然，我们可以给定一个阈值，比如，0.7，相似度大于0.7的 $r$ 才能作为考量。

在这里插入图片描述
相当于是用用户最近评分过的电影给备选电影做一个衡量。

后面两个对数项为偏移量。相似度大于0.7的中好电影的个数为enhanceCount，差电影的个数为weakenCount。

我们用实际例子来理解这个公式。

假设用户看了《叶问1》，并且他没有其他最近看过的电影，那么备选电影 $q$ 能否真正推荐将直接取决于 $R_r$ (因为 $\sum\limits_{r\in RL}sim(q,r)=sim\_sum$ )，即用户对《叶问1》的评分，这当然是合理的。如果评分高，那么 $q$ 的最终推荐等级会高。

假设用户最近看过的电影里有《叶问2》，《叶问3》，《霍元甲》，如果这三部电影的评分都很高，那么 $q$ 的推荐等级就高。其实这里的问题是：对于 $p$ 的相似电影 $q$ ，对它的（ $q$ ）相似电影中我看过的电影，我是如何看待的，我的喜好或不喜好将决定 $q$ 最终的推荐等级，当然，当前打下评分的 $p$ 也参与进了最近看过的相似电影中。这比直接取 $p$ 的相似电影要稳健得多，因为公式考虑了我对这个“类别”（相似性展现的）的整体感觉——并且是最近的感觉，这就去除了《叶问1》本身的偏见，比如确实不好，或者导演不喜欢之类的。

下面要解释对数偏移量。假设 $q$ 的相似电影《叶问1》，《叶问2》，《叶问3》的评分都是1(我最近看过的)，然后相似度都是0.9，这说明相似电影 $q$ 的表现很差，或者说我实在不喜欢。如果没有偏移项，结果就是 $\frac{0.9\times1 +0.9\times 1 + 0.9 \times 1}{0.9+0.9+0.9}$ 。此时最近看过的电影又来了一部《霍元甲》，同样与的相似度是0.9，然后评分是1分。那么计算结果就是 $\frac{0.9\times1 +0.9\times 1 + 0.9 \times 1+ 0.9 \times 1}{0.9+0.9+0.9+0.9}$ ，得到的结果与之前是一样的。这样算法对“不喜欢程度”就没有惩罚了。再加了一部相似度高但评分低的电影，应该加大以 $q$ 为中心的“类别”的厌恶程度。偏移量正好可以做出这个反应。但是偏移量的变化率又不能大大去影响前一项加权平均的结果，所以采用缓慢增长的对数函数是个好的选择。