应用于 NLP 领域的 Meta/few-shot 学习方法的最新论文列表:https://github.com/ha-lins/MetaLearning4NLP-Papers (自己准备看对话系统和文本分类)
以后找相关论文的地方: 发现一个网址总结了各个方向的论文:https://www.aminer.cn/topic 比如搜索元学习:https://www.aminer.cn/topic?sort=num_view&page=1&query=%E5%85%83%E5%AD%A6%E4%B9%A0
0、【元学习】Meta Learning 介绍 https://www.cnblogs.com/xxxxxxxxx/p/11695044.html
1、元学习与自然语言处理 2019年三篇NLP和自然语言处理的应用: 1)Domain Adaptive Dialog Generation via Meta Learning, ACL2019 讲述的是任务型对话系统面向的领域和应用很多,这就对数据有了要求。希望能够对于较少的样本也能达到效果较好的域自适应的任务型对话生成模型。提出DAML。 2)Personalizing Dialogue Agents via Meta-Learning, ACL2019 个性化对话系统需要在较少的数据上迅速调整为针对特定用户的定制模型。采用MAML。 3)Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs, EMNLP2019 通过元学习方式解决少样本条件下的知识图谱链接预测问题。
2、如何快速水一篇NLP论文 介绍了两篇论文: 1)Domain Adaptive Dialog Generation via Meta Learning, ACL2019 2)Graph Evolving Meta-Learning for Low-resource Medical Dialogue Generation, AAAI 2021. 低资源场景下的医疗对话系统的工作,旨在通过元学习构建一个跨疾病可迁移的对话系统。该对话系统包含三个组件:分层上下文编码器、元知识图推理模块与图指导的响应生成器;同样还是类似MAML的思路,只不过针对现有知识图谱对对话实体覆盖不全的问题,本文还通过graph evolving的方法对知识图谱进行丰富。
通过这两个工作和paper list,可以看到以「MAML」为代表的optimization-based meta learning方法,以其模型无关的灵活性的特点,在各个NLP topic(如:dialog system/ semantic parsing等)的few-shot场景下遍地开花,而其他的meta-learning方法(如metric-based)多集中在解决分类问题上。如何在少量数据场景下构造出合理的meta task,是解决问题的关键。
3、基于元学习的现实场景应用论文介绍 两篇基于元学习方法在现实场景的应用论文。 1)Relation-aware Meta-learning for Market Segment Demand Prediction with Limited Records 应用场景:大型电子商务平台 新的框架RMLDP,以解决细分市场的需求预测任务。RMLDP结合了一个具有元学习范式的多模式融合网络。在元学习范式中,进一步提取片段关系以定制模型参数初始化。并将所提出的方法应用于在线平台。 2)Learning from Multiple Cities: A Meta-Learning Approach for Spatial-Temporal Prediction 应用场景:智慧城市建设 提出了一个新的MetaST框架,通过将时空网络与元学习范式相结合来解决问题。
4、元学习相关的经典文章、代码、书籍、博客、视频教程、数据集等其他资源,提供给需要的朋友 简单列出了上述内容,论文未标明出处。
5、初探元学习 2021.9.11晚看 写的挺好的。 什么是元学习;其与机器学习和迁移学习的区别;在数学上的定义;元学习的基本问题可分三类;元学习的分类/方法; 文中参考的博客文章都要细看。 元学习:学会快速学习:https://www.bilibili.com/read/cv4310739/
综述:
1、一篇元学习综述的总结《Meta-Learning in Neural Networks: A Survey》:https://mp.weixin.qq.com/s/QLzdW6CMkcXWQbGjtOBNwg https://zhuanlan.zhihu.com/p/261170127?utm_source=cn.wiz.note http://www.360doc.com/content/20/1028/18/32196507_942850516.shtml http://www.360doc.com/content/20/1028/18/32196507_942850516.shtml
2、小样本学习领域的综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》 https://blog.csdn.net/z704630835/article/details/103959490 https://blog.csdn.net/algorithmPro/article/details/106184414 https://zhuanlan.zhihu.com/p/129786553 3、
3、https://zhuanlan.zhihu.com/p/64775132
4、文中提了两篇综述 https://blog.csdn.net/weixin_41803874/article/details/89847811
5、《A Survey of Deep Meta-Learning》 https://zhuanlan.zhihu.com/p/264402151
6、元学习(Meta-Learning) 综述及五篇顶会论文推荐 https://blog.csdn.net/weixin_41803874/article/details/89920370 1)微分凸优化元学习 ,CVPR 2019 Oral 2)无监督元学习,ICLR 2019 3)在线元学习 4)多城市学习:时空预测的元学习方法,WWW2019 5)通过元学习进行图神经网络对抗攻击,ICLR 2019 7、计算机学报的元学习研究综述 http://cjc.ict.ac.cn/online/onlinepaper/lfz-2021128205230.pdf
其他: ACL2020放榜!事件抽取、关系抽取、NER、Few-Shot相关论文整理~ AAAI2021中事件抽取、关系抽取、NER、NLP相关的Few-Shot和Zero-Shot论文整理 一文速览 | ACL 2021 主会571篇长文分类汇总
如何通过元学习解决小样本图像分类任务 通过改进特征提取算法和匹配算法,每年都会产生许多新的度量学习方法。 说实话,在主流小样本图像分类的评价标准上,MAML目前性能不如度量学习。由于它的两级训练过程,在实践中训练难度很大,因此超参搜索要比普通模型复杂得多。另外,元反向传播需要计算梯度的梯度,所以目前只能通过计算其近似值才能在标准GPU上进行训练。出于这些原因,大家在实际应用中可能更愿意使用度量学习算法。 但之所以MAML模型受到那么多关注,是因为它是模型不可知的。这意味着它实际上可以应用于任何神经网络,任何任务。掌握MAML意味着能够训练任何一个神经网络,使其快速适应新的任务,而且只需要很少的训练样本。MAML的作者Chelsea Finn和Sergey Levine,将其应用于有监督的小样本分类、有监督的回归和强化学习。但只要多努努力,你就可以用它把任何一个神经网络转换成一些高效的神经网络!
元学习研究的进展与未来——VALSE Webinar 21-10期观看笔记 入门 | 从零开始,了解元学习 已看 《Meta-Learning a Dynamical Language Model》 A Simple Neural Attentive Meta-Learner 学习如何学习的算法:简述元学习研究方向现状
|