多模态学习
Multimodal Learning ：文本、视觉、声音模态结合的学习
迁移学习
transfer learning：在某训练集上训练后的模型（预训练模型），相似训练集再进行训练后可以使用
域适应
domain adaptation： 把两个训练集上的数据，都投影到某一个共同的空间上 (Space)。在这个空间上Source 和 Target的数据差异会变小，就可以当成同一个数据集了，我们就能用各种分类器在这个空间上进行训练了。
元学习
meta-learning,(learning to learn) ： （优化器） 元学习可以简单地定义为获取知识多功能性的能力。人类能够以最少的信息同时获取多个任务。我们可以通过查看单张图片来识别一种新物体，也可以同时学习复杂的多任务活动，比如开车或驾驶飞机。一些元学习模型关注的是优化神经网络结构，而另一些模型（如Reptile）则更注重于寻找合适的数据集来训练特定的模型。
目标就是通过学习大量的任务，从而学习到内在的元知识，从而能够快速的处理新的同类任务
联邦学习
（federated learning）： 在保障信息安全和数据隐私前提下，在多参与方或多计算结点之间开展高效率的机器学习。例用于两家企业信息联合训练同一模型，需要加密样本对其、模型训练、效果激励
- 横向联邦学习horizontal： 适用于参与者的数据特征重叠较多，而样本ID重叠较少的情况（横向的一行表示一条训练样本，纵向的一列表示一个数据特征）
- 纵向联邦学习vertical： 适用于参与者训练样本ID重叠较多，而数据特征重叠较少的情况。
- 联邦迁移学习： 适用于参与者训练样本ID和数据特征重叠都较少的情况。 不对数据进行切分，而利用迁移学习来克服数据或标签不足的情况
表示学习
Representation Learning：（深度学习时代） 采用模型自动学习数据的隐式特征,数据表示与后续任务往往是联合训练,不依赖专家经验,但需要较大的训练数据集。
■ 表征学习的目的是对复杂的原始数据化繁为简，把原始数据的无效信息剔除，把有效信息更有效地进行提炼，形成特征，这也应和了机器学习的一大任务——可解释性
■特征工程（机器学习时代）:依靠专家提取显式特征,工程量巨大,特征选取的好坏将直接决定数据表示的质量从而影响后续任务的性能。
知识图谱
Knowledge Graph：即语义网络（semantic network）的知识库，即具有有向图结构的一个知识库。通俗一点说：知识图谱是由实体、关系和属性组成的一种数据结构。
监督学习
- 半监督：利用数据分布上的模型假设建立学习器对未标签样例进行标签。通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这个模型对（较大规模的）无标签数据预测伪标签，作为Student模型的训练数据；
- 自监督：在无标注数据上训练，通过一些方法让模型学习到数据的inner representation，再接下游任务，例如加一个mlp作为分类器等。但接了下游任务之后还是需要在特定的有标签数据上finetune，只是有时候可以选择把前面的层完全固定，只finetune后面接的网络的参数。自监督数据监督来源于数据本身，例如通过拼图方式构造。
- 弱监督：用包含噪声的有标签数据训练。（半监督与弱监督只是都从标记角度定义，但是涉及的算法不一样）
- 不完全监督：只有一部分训练数据具备标签；
- 不确切监督：训练数据只具备粗粒度标签；例如，在药物活性预测 [40] 的问题中，其目标是建立一个模型学习已知分子的知识，来预测一个新的分子是否适合制造一种特定药物。一个分子可以有很多的低能量形状，而这些分子是否能用于制药取决于这些分子是否具有某些特殊的形状。然而即使对于已知的分子，人类专家也仅知道该分子是否适合制药，而不知道其中决定性的分子形状是什么。
- 不准确监督：给出的标签并不总是真值。
- 多示例学习：学习者不是接收一组单独标记的实例，而是接收一组带标签的包，每个包含许多实例。
- 少样本学习：元学习目标设定是一样的。
零样本学习：和少样本学习不一样的地方在于零样本学习不给样本，而是给出一个代表某一类物体语义的嵌入向量，我们要直接利用这个嵌入向量来对物体做分类。
分类问题
目标值：类别（猫狗）
k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归
回归问题
目标值：连续型的数据（房价）
线性回归、岭回归
无监督学习
无目标值，例：聚类、k-means
|