IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> #Paper Reading# Warm Up Cold-start Advertisements: Improving CTR Predictions via L2L ID Embeddings -> 正文阅读

[人工智能]#Paper Reading# Warm Up Cold-start Advertisements: Improving CTR Predictions via L2L ID Embeddings

论文题目: Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings
论文地址: https://dl.acm.org/doi/abs/10.1145/3331184.3331268
论文发表于: SIGIR 2019(CCF A类会议)
论文所属单位: 中科院计算所

论文大体内容:
本文主要提出了Meta-embedding的方法,用于给新的item生成更好的初始化embedding,而更好的生成初始化embedding,也能使得模型更快收敛;

Motivation:
常见的依赖id embedding的NN方法都会遇到item冷启动的问题,如何更好的解决该问题是本文的出发点;

Contribution:
①提出Meta-Embedding方法,提升新item的ctr预测;
②提出简单但有效的Meta-Embedding生成器;
③方法容易应用到线上item冷启动;
④离线实验在3个数据集上均取得显著的效果;


1. 广告系统中冷启item具有长尾的属性,80%的样本来自于5%的item id,这也导致大量的item属于冷启阶段,缺乏行为信息(监督信息)让模型对它学的很好。?

?

2. 本文主要focus在优化新item的embedding初始化,这有2方面好处:
①新item的预测更准;
②加速模型收敛;?

?

3. 该模型也容易部署,在部署上相比原有方案,仅多出了Meta-Embedding Generator;?

?

4. Embedding生成器训练的整体过程如下:?

5. Embedding生成器通过在最后一层使用三个技巧来获得数值稳定的输出:
①使用tanh激活函数;
②不添加偏置项;
③使用L2正则化来惩罚权重;
使用的模型结构如下:?

?
实验
6. Dataset
①MovieLens-1M
②Tencent CVR prediction dataset for App recommendation
③KDD Cup 2012 CTR prediction dataset for search ads

7. Baseline
①FM;
②W&D;
③PNNs;
③DeepFM;

8. Metric
①AUC;
②LogLoss;

9. 训练过程[1]
①使用老id的数据训练整个模型;
②用整个训练数据训练Embedding生成器;
③新id随机初始化embedding;
④在testset计算效果;
⑤模拟warmup过程:使用batch-a训练并更新新id的embedding;
⑥在testset计算效果;
⑦模拟warmup过程:使用batch-b训练并更新新id的embedding;
⑧在testset计算效果;
⑨模拟warmup过程:使用batch-c训练并更新新id的embedding;
⑩在testset计算效果;

10. 实验结果?

参考资料:?
[1] https://github.com/Feiyang/MetaEmbedding/blob/master/code/example-MovieLens.ipynb


以上均为个人见解,因本人水平有限,如发现有所错漏,敬请指出,谢谢!
?

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-08-03 11:10:51  更:2021-08-03 11:14:06 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/22 15:17:46-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码