[Python知识库]矩阵分解-推荐系统案例代码（短视频推荐）

使用矩阵分解,根据用户给短视频的评分数据,做-一个千 人千面的个性化推荐系统

• 需要安装推荐系统库surprise,使用如下命令安装: pip install scikit-surprise

#导入numpy和surprise辅助库
import numpy as np
import surprise
#基于矩阵分解的推荐
class MatrixFactorization(surprise.AlgoBase):
    def __init__(self,learning_rate,n_epochs,n_factors,lmd):
        self.lr = learning_rate     #梯度下降法学习率
        self.n_epochs = n_epochs    #梯度下降法迭代次数
        self.n_factors = n_factors   #分解矩阵的秩（rank）
        self.lmd = lmd #防止过拟合的正则化强度
    def fit(self,trainset):
        #通过梯度下降法训练，得到所有u_i和p_j的值
        print('fitting data with SGD...')
        #随机初始化user和item矩阵（均值,方差,行，列）
        # np.random.normal 随机正态分布
        u = np.random.normal(0,.1,(trainset.n_users,self.n_factors))
        p = np.random.normal(0,.1,(trainset.n_items,self.n_factors))
        
        #梯度下降法
        for _ in range(self.n_epochs):
            for i,j,r_ij in trainset.all_ratings():
                err = r_ij-np.dot(u[i],p[j])
                #利用梯度调整u_i和p_j
                u[i]-= -self.lr*err*p[j]+self.lr*self.lmd*u[i]
                p[j]-= -self.lr*err*u[i]+self.lr*self.lmd*p[j]
                 # 注意: 修正 p_j 时, 按照严格定义, 我们应该使用 u_i 修正之前的值, 但是实际上差别微乎其微
        self.u,self.p = u,p
        self.trainset = trainset
#注意fit和estimate继承于surprise.AlgoBase
    def estimate(self, i, j):
       #'''预测user i对item j的评分。'''
        #如果用户i和物品j是已知的值，返回u_i和p_j的点积
        #否则使用全局平均评分rating值(cold start冷启动问题)
        if self.trainset.knows_user(i) and self.trainset.knows_item(j):
            return np.dot(self.u[i],self.p[j])
        else:
            return self.trainset.global_mean

from surprise import BaselineOnly
from surprise import Dataset
from surprise import Reader
from surprise import accuracy
from surprise.model_selection import cross_validate
from surprise.model_selection import train_test_split
import os

# 数据文件
file_path = os.path.expanduser('./data/u.data')

# 数据文件的格式如下:
# 'user item rating timestamp', 使用制表符 '\t' 分割, rating值在1-5之间.
reader = Reader(line_format='user item rating timestamp', sep='\t', rating_scale=(1, 5))
data = Dataset.load_from_file(file_path, reader=reader)

#将数据随机分为训练集和测试集
trainset,testset=train_test_split(data,test_size=0.2)
#初始化以上定义的矩阵分解类
algo = MatrixFactorization(learning_rate=.005,n_epochs=60,n_factors=2,lmd=0.2)

#训练
algo.fit(trainset)
#预测
predictions = algo.test(testset)
#计算平均绝对误差
accuracy.mae(predictions)

对比试验

#使用surpise内建的基于最近邻的方法做比较
algo = surprise.KNNBasic()

#训练
algo.fit(trainset)
#预测
predictions = algo.test(testset)
#计算平均绝对误差
accuracy.mae(predictions)

#使用surpise内建的基于SVD做比较
algo = surprise.SVD()

#训练
algo.fit(trainset)
#预测
predictions = algo.test(testset)
#计算平均绝对误差
accuracy.mae(predictions)