IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 论文分享(4)---- OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING)----元学习meta-lstm -> 正文阅读

[人工智能]论文分享(4)---- OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING)----元学习meta-lstm

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


摘要

尽管深度学习在数据量充足的领域已经取得了很大的成功,但是它们很难在数据量匮乏的情况下发挥。这是因为现有的优化策略都是基于梯度进行更新,由于参数量的缘由,这种梯度更新的方式需要更多的step才能达到收敛。针对这一问题,作者提出了基于元学习的LSTM来训练目标模型的参数。Goal model的参数会伴随meta-lstm的更新进行优化。


一、问题定义

重点meta-lstm和goal model:
对于goal model来说,数据集D定义为Dtrain,Dtest。参数为θ。
对于meta-lstm来说,数据集D定义为Dtrain,Dtest。而在每个Dtrain和Dtest中又分别划分为Meta_train,Meta_val,Meta_test三个部分。

二、Model

1. 模型定义

单考虑单个数据集D,D∈Dtrain,goal model的参数为θ,则按照梯度更新的方式,更新公式如下:
在这里插入图片描述
类比LSTM中cell state的更新,更新公式如下:
在这里插入图片描述参考上述,作者提出了meta-lstm更新目标模型的参数。但是如果直接替换,ft和it都变为固定参数,与lstm的动态更新相违背,作者在考究两个参数的实际意义之后,做出动态更新的决定。其中ft在lstm是遗忘门,范围[0,1],考虑的是上一状态保留多少的问题。故定义为:
在这里插入图片描述
而it是对应学习率,是一个动态更新的参数,在lstm是更新门,即考虑当前输入保留多少的问题,所以定义为:
在这里插入图片描述

2. 模型参数共享和预处理

由于目标模型的参数数量难以估计,如果每个参数都有自己独特的meta-lstm,会造成元学习器参数灾难的问题,作者此处简化meta,使目标模型共享一个meta-lstm。
同时由于梯度大小的不同会使得元学习器训练起来困难,作者在此预处理梯度,使得每个步长下的梯度变化可接受。

3. 梯度更新简化

在这里插入图片描述如上图所示,元学习梯度更新过程有两条路线联合更新,一个是lstm的cell直接更新,还有就是(?θt?1,Lt)。作者为了简化更新,将后者更新路线截断。在不降低更新效果的前提下,最大限度简化任务规模,提高训练速度。

三. 实验结果分析

在这里插入图片描述如上表所示,作者提出基于元学习的meta-lstm不仅在优化效率还是优化效果都取得了那会最好的结果。


总结

本文是针对深度学习在小样本上学习困难的一种解法。诸如文章中提到的迁移学习结合预训练的方式都可以辅助解决小样本问题,但是当预训练任务和目标任务不一致时,效果并不理想,而作者提出的方法可以避免这样的问题。文章中提到的基于元学习的meta-lstm通过类比lstm的cell的更新方式,更新梯度,同时作者采用很多方法诸如参数共享,梯度削减等来简化更新。总体来言,本文是元学习一次很有意义的尝试。

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-05-05 11:19:11  更:2022-05-05 11:23:41 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 7:29:36-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码