最近结束的「Inside the lab」活动：「用 AI 构建 Metaverse」，是 Meta 寻求用 AI 解锁元宇宙的关键一步，此前 Meta 就曾宣布正在开发一台破纪录的超级计算机来为元宇宙提供动力。专家们表示，除了 AI，元宇宙中还涉及到 VR、AR、区块链和 5G 等重要技术，而扎克伯格则热衷于构建几个巨大的 AI 系统来驱动新生的虚拟世界。
?
对此，扎克伯格表示，「我们特别关注可以使全新事物成为虚拟世界的基础技术，因此在 Meta 我们研究了许多不同的技术，从 VR 到设计我们自己的数据中心。今天，我们将专注于也许是我们这个时代最重要的基础技术——AI。」
此外，「我们将在元宇宙中获得的各种体验已远远超出了今天的可能，元宇宙被描述为「互联网的沉浸式版本」，因此它需要在整个领域取得进步，包括从新的硬件设备到用于构建和探索世界的软件，而 AI 则是解锁许多这些进步的关键」，扎克伯格补充道。
AI 正转向另一种自我监督学习的新方式
扎克伯格在「Inside the lab」活动中作出介绍性说明之后，Meta AI 负责人 Jrme Pesenti 和 Meta AI Research 联合董事总经理 Joelle Pineau 在题为「用 AI 解锁 Metaverse」的会议上深入探讨了 Meta 如何用 AI 构建元宇宙和开放科学。Pesenti 指出，AI 是元宇宙的关键之一，而 Meta AI 的使命是通过 AI 研究改进 Meta 产品，让世界更紧密地联系在一起。
目前，Meta AI 在体现机器人技术、创造力和自我监督学习等关键领域取得了重大进展。传统上，机器直接从人类的监督中学习，是通过面向系统提供大量人工生成的示例来教它们执行单个任务实现的。然而，这种方法的挑战在于它过于依赖任务，而机器何时能真正理解超出狭隘任务的部分时，是否需要大量引入不必要的偏见，对此人工并不清楚。
不过，Meta AI 正在转向另一种自我监督的方式，在这种方式中，AI 可以在没有任何人工监督的情况下学习数据。
例如，在处理语言时，AI 系统可以从输入文本中删除单词，并尝试通过推断周围单词的模式来获取它们。随着 AI 系统变得更好，它也提高了对语言含义和结构的理解，这是这种自我监督模型的最大优势之一：它独立于任务，因此可以利用单个模型进行最少的微调来执行多个下游任务，如该模型可以帮助执行诸如识别仇恨言论之类的事情等。
此外，Pesenti 表示，随着 Meta AI 的研究突破，自监督学习不再局限于语言。在过去的六个月里，Meta AI 和其他行业的研究人员在理解语音图像方面也取得了惊人的成果。
Meta AI 研究人员已经设法获得了非常适用于图像的自我监督技术，他们将图像分成小块，并要求 AI 重建图像。目前，Meta AI 研究人员已经证明，这种新的自我监督技术与最少量的注释数据相结合，与使用更多人工监督的传统方法相比更具有竞争力。
并且，Meta AI 还开始创建可以同时理解多种模式的统一模型：他们可以在聆听的同时阅读嘴唇以获得更好的语音识别，或者通过分析所有组件（文本、图像或视频）来识别违反政策的社交媒体帖子。但 Meta AI 依然不会止步于此，随着元宇宙的出现，Meta AI 将面临着更多独特的挑战和机会来实现这一目标。
元宇宙带来的几个新挑战
在 Joelle Pineau 看来，她同样相信元宇宙会带来各种新的挑战。过去十年，AI 的大部分快速进步都深深植根于互联网，如我们看到语音、语言和视觉等数据模式。
然而，AR 和 VR 呈现出不同且更大的体验和可供性。例如，从手到脸再到全身的运动成为提供和接收信息的主要载体，这开辟了一些令人着迷的新机遇，也需要我们的 AI 模型取得更多新的进展。
尽管 Pesenti 分享了构建统一模型的目标，但 Pineau 表示这还不够，在构建世界模型方面取得进展至关重要。同时，建立一个「世界模型」是 AI 研究人员多年来一直都在谈论的一个概念。
「这个想法是建立一系列丰富的数据上，不仅可以用来进行预测，还可以用来推动未来并比较行动或干预的替代选择。随着我们开始构建能够在现实，以及 AR 和 VR 中流畅运行的 AI 代理，我们的世界模型将需要混合使用预先记录的静态数据（如监督模型）进行训练，同时还需要一系列交互经验」，Pineau 补充道。
因此，目前仍存在许多不确定性，Meta AI 也还不知道它在未来几年将要开发出的新方法或算法。不过，Meta AI 已经知道一些研究方向即将发生重大变化，这样的方向之一则是机器人技术。此外，Pineau 还指出，重点是实现所谓的「无界机器人」，这是一种突破实验室或工厂等高度受限环境的机器人，它们能够在家中和办公室流畅地操作，并与人类和物体交互地尽可能自然。
而当我们构建从丰富交互中学习的机器人时，一个重要的步骤则是我们需要机器人本身来提高其通过触摸感知世界的能力，Pineau 对此做出了一个强调。
目前，Meta AI 一直在试验新的触摸传感器，与卡内基梅隆大学和麻省理工学院的研究人员合作，并创建传感器，使用 AI 技术来推断接触位置，同时通过传感器内的摄像头记录的图像变化来测量接触力。而与目前可用的商业触觉传感器相比，Meta AI 与麻省理工学院合作开发的数字传感器制造成本也要更低。
不过，Meta AI 想要解决的挑战之一还是要创建可以通过物理机器人和虚拟世界在现实世界中运行的模型，以允许数字化身以更加逼真的方式来挑选和操纵元宇宙中的人物，来确保彼此之间的一致性。Meta AI 认识到模拟与现实世界之间的巨大差距，并加大投资来弥合从现实到 VR 的差距，在那里它可以训练和测试机器人导航和操纵的新算法，以及与空间和物体的真实感测和交互。
虽然 Pineau 同意建立真正可靠的虚拟世界模型还有很多工作要做，但她仍然指出，一个有趣的问题是虚拟世界模型是否必须始终保持精确。为了回答这个问题，Meta AI 正在开发一个项目，除了试图感知和重建现实世界之外，它还可以融入我们内心深处并发挥创造力。这只是一个开始，随着我们探索 AI 模型可以增强人类创造力的新方法，将可以看到更多。
开源计划
对于是否开源，Pineau 给出了肯定的回应，Meta AI 将开源他们的研究计划，让世界各地的团队都可以使用。在 Meta AI 的大部分研究工作中，其构建并发布了一个开源库，如本例中的 PyTorch 库，它包括多种功能，例如检测触摸滑动、估算、机器人和对象本身，都可以包含在内作为具有导航和其他机器人功能的更广泛系统的一部分。
?
此外，Meta AI 还正在开源 TorchRec，这是为其许多产品提供支持的推荐库。TorchRec 展示了 Meta AI 对 AI 透明度和开放科学的承诺，它在 PyTorch 库中可用，并提供常见的稀疏性和并行性原语，使研究人员能够构建与当今 Facebook 新闻源和 Instagram reels 使用相同的最先进的个性化。
随着 Meta 踏上为具身互动元宇宙构建 AI 的新旅程，Pineau 指出，其还将提高如何做到这一点的标准，以及它在其设计和技术中将提升哪些价值。对此，Pesenti 与 Pineau 达成了一致，并表示 Meta 将通过坚定不移地致力于创建遵循公平、包容、透明的最佳实践、责任与模型的 AI 系统和技术来提高标准，并在保护用户隐私的同时给予用户更多控制权。
但根据 Pesenti 的说法，这些最佳实践并不容易定义，因为这些问题通常涉及复杂的社会问题。「这就是为什么必须对我们的工作保持透明，并向更广泛的负责任的 AI 社区分享，以获得他们的反馈并运用他们的专业知识」，Pesenti 解释道。
可以看出，在迈向所谓「负责任的 AI」的过程中，Meta 似乎希望通过整合其开源社区的反馈来解决其多年来面临的一些隐私问题。同时，Meta 能否成功用 AI 解锁元宇宙，还有待进一步的观察。
?