MFEA-II：带有在线传递参数估计的多因子进化算法
参考文献：《Multifactorial Evolutionary Algorithm With Online Transfer Parameter Estimation: MFEA-II》
摘要
鉴于“人类很少从零开始解决所有问题”这一观察，本文的动机是通过跨越相关问题的自适应知识转移来提高优化性能。多个问题同时发生时，自发转移的范围揭示了多任务处理的优势。多任务优化证明了同时解决多个（相关）优化任务的能力。值得注意的是，在问题之间存在潜在关系的情况下，跨问题转移高质量的解有助于激发卓越的性能特征。然而，在事先不了解任务间协同效应的情况下（通常情况下，一般黑盒优化就是这样），以负迁移为主的威胁占了上风。对负面任务间交互的易感性会阻碍整体收敛行为。为了解决这个问题，本文提出了一种新的进化计算框架，该框架支持在线学习，并利用多任务环境中不同任务之间的相似性（和差异）以增强优化过程。我们的提议基于原则性的理论论点，旨在最大限度地减少任务之间有害交互的趋势，并基于对任务之间关系的纯数据驱动学习。
简介
在机器学习中，从迁移学习到多任务学习，知识转移的概念以多种形式表现出来。迁移学习利用来自各种源任务的可用数据池来提高相关目标任务的学习效率。有趣的是，迁移学习主要只关注目标任务，而多任务学习相反，通过在不同任务之间共享信息来同时学习所有任务，以提高整体泛化性能。简单地说：每个任务学到的东西可以帮助其他任务更好地学习。在数据丰富的推动下，知识转移的概念主要在预测分析领域（例如分类和回归）中占据主导地位。另一方面，在优化问题（通常以零先验数据开始搜索）的背景下进行知识转移的尝试相对稀少，几乎没有。
尽管多任务优化具有实际意义，但初步研究表明，多任务优化的性能对潜在任务间相似性的程度非常敏感。具体来说，每个优化任务可能并不总是与所有其他可用任务密切相关。在这种情况下，假设相关性并同时解决（任何）不相关的优化问题可能会导致性能下降。忽视这样的任务间差异，跨多个不同问题共享知识会导致一种负迁移的现象。
基于上述事实，在本文提出了一种新的数据驱动的多任务方法，该方法能够在线学习在多任务环境下，在不同的优化问题之间需要传递多少知识，而无需任何人为干预。我们重点关注进化算法（EAs）的使用，因为它们通常允许灵活的数据表示，并已被证明与概率建模方法得到了较好的融合——这是我们学习策略的关键。
本文首先从概率建模的角度描述了多任务进化优化框架的一个实例。然后，揭示了从不同任务中提取的概率模型的原则性集成如何实现知识转移，同时抑制任务间的负交互。值得注意的是，本文描述的思想直接包含了先前提出的MFEA。与MFEA相比，本文的主要贡献有两个方面。
- 1） 虽然转移模式与MFEA（即基于交叉的遗传转移）相同，但诱导转移程度的参数被修改为对称矩阵的形式。这允许在两个以上任务且可能具有不同任务间关系的任务之间进行有效的多任务处理。
- 2） 根据多任务搜索过程中生成的数据，不断在线学习和调整传递参数矩阵。由于采用了理论上有原则的学习范式，因此避免了大量手动参数调整的需要。
未完待续…
|