[人工智能]ICLR 2022 杰出论文奖 - 获奖论文速览

目录

杰出论文奖论文

论文 1：Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models

论文 2：Hyperparameter Tuning with Renyi Differential Privacy

论文 3：Learning Strides in Convolutional Neural Networks

论文 4：Expressiveness and Approximation Properties of Graph Neural Networks

论文 5：Comparing Distributions by Measuring Differences that Affect Decision Making

论文 6：Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path

论文 7：Bootstrapped Meta-Learning

荣誉提名论文

提名论文 1：Understanding over-squashing and bottlenecks on graphs via curvature

提名论文 2：Efficiently Modeling Long Sequences with Structured State Spaces

提名论文 3：PiCO: Contrastive Label Disambiguation for Partial Label Learning

2022年国际学习表征会议 (ICLR) 是致力于人工智能表征学习 (通常被称为深度学习) 发展的专业人士的首要聚会，已经宣布了第十届会议议程，邀请了不同的发言者，会议评定了七篇获奖论文，三篇荣誉奖。

该项目主席审查了3391份提交的论文，并在四个月的审查过程中论文接收总数 1095 篇，论文接收率 32.3%。其中共有 54 篇 Oral（口头报告）论文和 176 篇 Spolight 论文。全部论文链接：ICLR 2022 Conference | OpenReview。

今年的评委会期待着在4月25日下午17:00、26日下午01:00、27日上午09:00和28日下午01:00的口头会议上展示获奖论文。七项杰出论文奖得主为：

杰出论文奖论文

论文 1：Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models

https://arxiv.org/pdf/2201.06503.pdf

https://openreview.net/pdf?id=0xiJLKH-ufZ

获奖理由：扩散概率模型（Diffusion probabilistic model，DPM）是一类强大的生成模型，是机器学习中一个快速发展的话题。本文旨在解决 DPM 模型的固有局限性，这种局限性为 DPM 中最优反向方差的计算缓慢且昂贵。作者首先给出了一个令人惊讶的结果，即 DPM 的最优反向方差和相应的最优 KL 散度都有其得分函数的解析形式。之后他们提出了新颖而优雅的免训练推理框架：Analytic-DPM，它使用蒙特卡罗方法和预训练的基于得分模型来估计方差和 KL 散度的分析形式。

这篇论文在理论贡献（表明 DPM 的最优反向方差和 KL 散度都具有解析形式）和实际益处（提出适用于各种 DPM 模型的免训练推理）方面都很重要，并且很可能影响未来对 DPM 的研究。

?【转自：https://mp.weixin.qq.com/s/XrJ47E94XEKbkcFYkBMPTw】

论文 2：Hyperparameter Tuning with Renyi Differential Privacy

https://arxiv.org/pdf/2110.03620v1.pdf

https://openreview.net/pdf?id=-70L8lpp9DF

获奖理由：本文对学习算法差分隐私分析的一个重要盲点提供了新的见解，即学习算法在数据上进行多次运行以调优超参数。作者指出，在某些情况下，部分数据可能会扭曲最优超参数，从而泄露私人信息。此外，作者在 Renyi 差分隐私框架下为超参数搜索过程提供了隐私保障。

这是一篇优秀的论文，考虑了学习算法的日常使用及其对社会隐私的影响，并提出了解决方案。这项工作将为差分隐私机器学习算法的后续工作提供基础。

?【转自：https://mp.weixin.qq.com/s/XrJ47E94XEKbkcFYkBMPTw】

论文 3：Learning Strides in Convolutional Neural Networks

https://arxiv.org/pdf/2202.01653.pdf

https://openreview.net/pdf?id=M752z9FKJP

获奖理由：本文讨论了任何使用卷积网络的研究者都面临的一个重要问题，即以一种原则性的方式设置 stride，这种根据原则性的方法忽略了可能的实验和试错。作者提出了一种新颖的、非常聪明的、可以用来学习 stride 的数学公式，并展示了一种实用方法，该方法在综合基准中实现了 SOTA 结果。文中主要思想是 DiffStride，这是第一个具有可学习 stride 的下采样层，它允许学习傅里叶域中裁剪掩码的大小，以适合可微编程的方式有效地调整大小。

这是一篇优秀的论文，它提出了一种可能成为常用工具箱以及深度学习课程一部分的方法。

【转自：https://mp.weixin.qq.com/s/XrJ47E94XEKbkcFYkBMPTw】

论文 4：Expressiveness and Approximation Properties of Graph Neural Networks

https://arxiv.org/pdf/2204.04661v1.pdf

https://openreview.net/pdf?id=wIzUeM3TAU

获奖理由：这篇理论比较强的论文展示了如何将有关不同图神经网络 GNN 架构的表达性和可分离性的问题进行简化（有时通过检查它们在张量语言中的计算来大大简化），其中这些问题与常见的组合概念有关，例如树宽（treewidth）。特别地，本文提出通过 Weisfeiler-Leman (WL) 检验，可以很容易地得到 GNN 分离力（separation power）的边界，该检验已成为衡量 GNN 分离力的标准。该框架对通过 GNN 研究函数的逼近性也有一定的指导意义。

本文通过提供描述、比较和分析 GNN 架构的通用框架，有可能对未来的研究产生重大影响。此外，本文提供了一个工具箱，GNN 架构设计人员可以使用该工具箱分析 GNN 的分离能力，而无需了解 WL 测试的复杂性。

【转自：https://mp.weixin.qq.com/s/XrJ47E94XEKbkcFYkBMPTw】

论文 5：Comparing Distributions by Measuring Differences that Affect Decision Making

https://openreview.net/pdf?id=KB5onONJIAU

获奖理由：该研究提出了一类新的差异（discrepancy），可以根据决策任务的最佳损失比较两个概率分布。通过适当地选择决策任务，该方法泛化了 Jensen-Shannon 散度（divergence）和最大平均差异族。与各种基准上的竞争基线相比，该方法实现了卓越的测试性能，并且具有广阔的应用前景，可用于了解气候变化对不同社会和经济活动的影响、评估样本质量以及选择针对不同决策任务的特征。评审委员会认为该论文具有非凡的实验意义，因为该方法允许用户在通过决策损失比较分布时直接指定其偏好，这意味着实际应用将有更高的可解释性。

【转自：https://mp.weixin.qq.com/s/XrJ47E94XEKbkcFYkBMPTw】

论文 6：Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path

https://arxiv.org/pdf/2106.02073.pdf

https://openreview.net/pdf?id=w1UbdvWH_R3

获奖理由：该研究对当今深度网络训练范式中普遍存在的「神经崩溃（neural collapse）」现象提出了新的理论见解。在神经崩溃期间，最后一层特征崩溃到类均值，分类器和类均值都崩溃到相同的 Simplex Equiangular Tight Frame，分类器行为崩溃到最近类均值决策规则。

该研究没有采用在数学上难以分析的交叉熵损失，而是提出了一种新的均方误差 (MSE) 损失分解，以便分析神经崩溃下损失的每个组成部分，这反过来又形成了一种新的「中心路径（central path）」理论构造，其中线性分类器在整个动态过程中对特征激活保持 MSE 最优。最后，通过探究沿中心路径的重归一化（renormalized）梯度流，研究者推导出预测神经崩溃的精确动态。该研究为理解深度网络的实验训练动态提供了新颖且极具启发性的理论见解。

【转自：https://mp.weixin.qq.com/s/XrJ47E94XEKbkcFYkBMPTw】

论文 7：Bootstrapped Meta-Learning

https://arxiv.org/pdf/2109.04504.pdf

https://openreview.net/pdf?id=b-ny3x071E5

获奖理由：元学习具有增强人工智能的潜力，但元优化一直是释放这种潜力的巨大挑战，该研究为元学习开辟了一个新方向。受 TD 学习的启发，研究者提出一种从自身或其他更新规则引导元学习器的方法。该研究进行了透彻的理论分析和多项实验，在 Atari ALE 基准测试中为无模型智能体实现了新的 SOTA，并在多任务元学习中提升了性能和效率。

【转自：https://mp.weixin.qq.com/s/XrJ47E94XEKbkcFYkBMPTw】

荣誉提名论文

另外 3 篇论文获得杰出论文奖荣誉提名是：

提名论文 1：Understanding over-squashing and bottlenecks on graphs via curvature

https://openreview.net/pdf?id=7UmjRGzp-A

提名论文 2：Efficiently Modeling Long Sequences with Structured State Spaces

https://openreview.net/pdf?id=uYLFoz1vlAC

提名论文 3：PiCO: Contrastive Label Disambiguation for Partial Label Learning

https://openreview.net/pdf?id=EhYjZy6e1gJ

?ICLR 其他论文推荐

1.?ICLR 2022?—?A Selection of 10 Papers You Shouldn’t Miss – Towards AI

2.?Most Influential ICLR Papers (2022-02) – Paper Digest

TABLE 1: Most Influential ICLR Papers (2022-02)

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖