IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 向量内积召回 -> 正文阅读

[人工智能]向量内积召回

向量召回的目标

1:内积时既考虑到了相关性、又考虑到了兴趣,所以这就是前两个目标

2:有的还会考虑rpm最大化

3:有的团队还会在训练模型时,loss上加入点击loss、下单loss等目标

一、基础的向量召回就不简述了

就是使用精排的样本,然后形成两个塔,一个用来训练user向量,一个用来训练item向量,然后内积相乘再反向梯度传播,训练出来模型后,不管是离线刷出来所有user/item的向量保存起来,还是线上实时计算这两个向量,再采用ann的思路进行大范围快速检索得到结果

二、阿里全链路召回 - LDM(Learning to Rank based Deep Match Model)

原文链接:阿里广告技术最新突破:全链路联动-面向最终目标的全链路一致性建模 - 知乎

1:这篇文章中讲了两个召回思路其中一个就是ldm,是以学习后链路(精排)的序为目标

优点,1:以序为目标,而不是精准值,这样会节省一部分算力;2:召回模型本身就比较简单,如果以精排模型产生样本的点击与否进行学习,不如以学习序来得直接,更简单一些

详细做法

这篇文章没有详细讲解如何以序来召回的详细做法

猜测1:根据博主经验,对比pointwise pairwise listwise这三种训练架构来看(这里有篇很好的文章 推荐- Point wise、pairwise及list wise的比较 - 知乎),大概率是采用的listwise的办法,训练时以ndcg(搜索评价指标——NDCG - 胖喵~ - 博客园)为loss指标,但是这样复杂度会很高,可能他们还做了特殊的优化解决了这个问题

猜测2:设置参数,序大于n设为正样本,小于n设为负样本,这样就又和普通的向量训练模型一致了

2:召回和精排联动,一起进行训练,面向任意目标的向量召回技术PDM(Point based Deep Match Model)

实验开始:直接使用精排的曝光点击样本训练一个双塔结构的向量内积模型效果很差。曝光点击样本和召回面对的全库样本有很大的差异,样本选择偏差问题

最终定论:样本上选择精排时的曝光、点击、未展示三种样本

(1) 联合训练,共享一部分embedding,召回和精排都只用曝光、点击两部分的loss来回传梯度,这里感觉写的有点错误,精排还能理解,但是召回都不适用这部分回传梯度的话,要他有啥用

(2) batch内随机负采样,给每个正样本都随机选k个ad向量,和user向量拼在一起组成随机负样本,这样可以提升模型对简单负样本的区分能力。为了不影响pctr预估精度,这部分会再次引入一个塔,专门用来引入随机负样本来进入交叉熵loss,而正常的那个就输出pctr就好

(3) 对于“未展示”样本,会用精排模型来指导训练,是为了提升两个模型在召回空间上的打分一致性,但是这部分样本的梯度要对精排stop

三、有的团队在训练向量召回模型时,假如是一个点击场景吧,他可能只用点击样本

这种情况,可能就是像前面说的“batch内随机负采样”这种方法吧

四、多模态,就是训练loss不止是一个目标,也是淘宝一个团队提出来了,这里直接贴图吧

?

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-01-14 01:58:30  更:2022-01-14 02:01:27 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 22:27:03-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码