吹牛逼
按照经典的信息检索方式讲推荐系统划分为两部分
- 深度候选生成模型
- 深度排序模型
1. 介绍
youtube推荐系统面临的三个问题
- 规模:当前的推荐算法可以很好的解决数据量较小的问题,但是针对YouTube这种量级的用户和物料,必须使用专业的分布式训练平台。
- 新鲜度:youtube每天会产生非常多的新内容,推荐系统需要有足够的相应能力来处理新内容,做好新物料的探索和应用
- 噪声:由于稀疏性和各种不可观察的外部因素,YouTube 上的历史用户行为本质上难以预测。并且没有用户的显示反馈,所以需要进行隐式建模,这就要求算法有一定的鲁棒性。
- 反正就是,神经网络已经被应用在各种推荐之中,但是我知道他们都没有我牛逼
系统回顾
整个系统分为两个部分
- 候选网络。输入用户之前的行为,然后从百万级的物料中召回几百个与用户兴趣相关的物料,候选网络仅仅使用协同过滤来提供个性化召回。用户之间的相似性则使用粗略的特征来表示,例如之前看过的视频ID,一些用户维度的统计特征等;
- 排序网络。召回的物料已经有了一些区分,但是需要更多丰富的特征来对用户和物料进行建模,然后按照打分的顺序给用户推荐。
- 这种设计方式可以从大量的物料中筛选中用户感兴趣的商品,依然可以保证个性化,并且很容易增加其他方式的召回源。
- 离线评估
|