摘要
在人群中导航的机器人需要能够规划安全、高效和人类可预测的轨迹。 这是一个特别具有挑战性的问题，因为它要求机器人在人群中预测未来人类的轨迹，在人群中每个人都隐含地相互合作以避免碰撞。 先前的人类轨迹预测方法已将人类之间的相互作用建模为接近度的函数。 然而，这不一定是真的，因为我们附近的一些人朝同一方向移动可能不如其他更远的人重要，但将来可能会与我们发生碰撞。
引言
在这项工作中，我们提出了 Social Attention，这是一种新颖的轨迹预测模型，可以捕捉每个人在人群中导航时的相对重要性，而不管他们的距离如何。 我们在两个公开可用的人群数据集上展示了我们的方法相对于最先进方法的性能，并分析了训练有素的注意力模型，以更好地了解人类在人群中导航时关注哪些周围的代理。
机器人被设想在无脚本环境中与人类共存并完成一系列不同的目标。 为了实现这一目标，导航是自主移动机器人的一项基本任务。 这要求移动机器人不仅要以安全有效的方式在人群中导航，而且还要以符合社会标准的方式导航，即机器人必须协同避免与周围的人类发生碰撞，并以人类可预测的方式改变其路径。 为此，机器人需要准确预测人群中人类未来的轨迹，并据此规划自己的路径。
社交机器人导航领域的早期工作对人群中的个体人类运动模式进行建模，以预测未来的轨迹，如 [3]、[19]、[27]。 然而，如 [28] 所示，这种独立建模并没有捕捉到人群中人类之间复杂而微妙的交互，并且机器人的最终路径非常不理想。 要让机器人以符合社会标准的方式导航，关键是要捕捉在人群中观察到的人与人之间的互动。
最近的方法如 [1]、[28]、[31] 通过空间局部交互模型对所有交互代理的未来轨迹的联合分布进行建模。 这种联合分布模型能够捕捉交互人类轨迹之间的依赖关系，并产生符合社会要求的预测。 然而，这些方法假设只有本地社区中的人类会影响彼此的运动，这在真实人群中并不一定如此场景。 例如，考虑一个长走廊，两个人在两端朝着彼此移动。 如果他们都在走路，那么这种假设是成立的，因为他们不会在这么长的距离内相互影响。 然而，如果其中一个开始跑步，另一个人会在跑步者进入他当地的社区之前调整自己的动作以避免碰撞。 这一观察使我们认识到，人群中的人与人之间的交互不仅取决于相对距离，还取决于其他特征，例如速度、碰撞时间 [13]、加速度和航向。
在这项工作中，我们提出了一种方法，通过一种新颖的数据驱动架构来解决这一观察问题，以预测人群中人类的未来轨迹。 作为实现社会可接受的机器人导航的最重要的一步，我们关注人群中人类轨迹预测的问题。 我们使用前馈、完全可微分和联合训练的循环神经网络 (RNN) 混合来模拟人群中所有人类的轨迹，解决问题的空间和时间方面。
人与人之间的交互使用针对人群中所有人类的软注意力模型进行建模，因此不会使用局部邻域假设来限制该方法（图 1）。 由此产生的模型捕捉每个人对另一个人的影响、他们互动的性质并预测他们未来的轨迹。 最后，我们证明了我们的模型社会注意力能够比两个公开可用的现实世界人群数据集的最先进方法更准确地预测人类轨迹。
我们还分析了经过训练的注意力模型，以了解从人群数据集中学习的人与人交互的性质。
问题定义
在本文中，我们处理拥挤空间中人体轨迹预测的问题。 我们假设每个场景都经过预处理以跟踪人群中的行人并在连续的时间步长中获得他们的空间坐标。 请注意，行人进入和离开场景的时间跨度不同，轨迹长度不同。 让 (x ti , y i t ) 表示代理 i 在时间步长 t 的空间位置。
遵循与 [1] 类似的符号，我们的问题可以表述为： 给定空间位置 {(x ti , yit )} 代理 i = 1, 2, · · · , N 从时间步长 t = 1, · · · , T obs ，根据 t = T obs + 1, · · · , T pred 预测他们未来的位置 {(x? ti , ? it )}。
相关工作
我们的工作与过去在导航、人类轨迹预测和时空模型的人类交互建模领域的文献相关。
A. 为导航建模
人类交互为了预测人群中行人的未来行为，我们需要准确地对行人之间的交互进行建模。
[8] 提出的一项早期工作提出了社会力，它使用引导行人走向目的地的吸引力和确保避免碰撞的排斥力来模拟行人的运动。 随后，几种方法 [11]、[22] 通过将力函数的参数拟合到观察到的人群行为来扩展社会力模型。 使用基于相对距离的吸引力和排斥力，社会力模型可以捕捉简单的交互，但不能模拟复杂的人群行为，如合作，如 [1] 所示。
[7] 的一项开创性工作介绍了一种关于人类邻近关系的理论，该理论已用于基于势场的方法，例如 [25]，以模拟人群中的人与人交互以进行机器人导航。 基于邻近度的模型有效地捕获了反应性碰撞避免，但没有模拟人与人和人与机器人的合作。 然而，合作模型对于在密集人群中安全高效的机器人导航至关重要。 如[28]所示，缺乏合作会导致机器人冻结问题，即尽管存在多个可行路径，但机器人认为环境中没有可行路径。
最近，[28] 提出了使用交互高斯过程 (IGP) 来模拟人群中所有交互代理的轨迹联合分布，使用高斯过程和手工制作的交互潜在项。 潜在术语根据人群中人类的相对距离捕获交互，并产生一个概率模型，该模型已被证明可以捕获联合避碰行为。 这已在 [31] 中通过用基于占用网格的本地训练交互模型替换手工制作的潜在项进行了扩展。 然而，这些方法基于相对距离和方向对交互进行建模，而忽略了速度和加速度等其他特征。
最后，[17]、[18] 的作品使用基于特征的表示明确地模拟了人类和人机交互，并联合预测所有代理的轨迹。
他们使用最大熵逆强化学习 (IRL) 来学习导致类似人群行为的轨迹分布。 使用的功能，如间隙、速度和组成员资格都是经过精心设计的。 然而，他们的方法仅在不超过四个人的脚本环境中进行了测试，并且由于基于特征的联合建模，它在考虑代理数量的情况下扩展性很差。 最近，[24] 使用后退地平线运动规划方法将这种方法扩展到看不见的和非结构化的环境。
B. 人体轨迹预测
在视频监控领域，人体轨迹预测是一项重大挑战。 [12]、[14] 的方法使用高斯过程学习视频中行人的运动模式，并将观察到的轨迹聚类为模式。 这些运动模式捕捉导航行为，例如静态避障，但它们忽略了人与人之间的交互。 IRL 在 [15] 中也被用于活动预测，通过使用语义场景信息对人与空间的交互进行建模来推断场景中的可穿越区域，从而预测行人的未来轨迹。
然而，人与人之间的交互没有被建模。
最近，[1] 使用长短期记忆网络 (LSTM) 来模拟交互代理未来轨迹的联合分布。 这项工作在 [2]、[29] 中得到了扩展，除了动态代理之外，还包括模型中的静态障碍物。 然而，这些方法假设只有行人局部离散邻域中的动态代理会影响行人的运动。 如第一节所示，这不一定是真的，在我们的工作中，我们不会做出这样的假设。 作者还想指出最近的一项工作 [4]，该工作还使用注意力考虑了环境中的所有代理，而不仅仅是本地社区。 然而，所使用的注意力是基于接近度的硬连线，而不是从数据中学习。
C. 时空模型 在本文中，我们使用时空图来制定人类轨迹预测的任务。 时空图具有表示问题组件的节点和捕获节点之间时空交互的边。 这种时空公式在机器人和计算机视觉中得到了应用，[5]、[9]、[26]。 传统上，诸如条件随机场之类的图形模型用于对此类问题进行建模，[16]、[21]、[34]。
最近，[10] 介绍了 Structural RNN（S-RNN），这是一种丰富的 RNN 混合物，可以联合训练以模拟时空任务中的动力学。 这已成功应用于各种任务，例如模拟人体运动和驾驶员操纵预期。 在本文中，我们将使用 S-RNN 的变体。
方法
人类通过根据周围其他人的运动调整自己的轨迹来在人群中导航。 在 [1]、[2]、[29]、[31] 中假设这种影响是空间局部的，即只有空间邻居影响人群中人类的运动。 但如第一部分所示，这不一定是正确的，速度、加速度和航向等其他特征起着重要作用，使非空间局部的代理能够影响行人的运动。 在这项工作中，我们的目标是通过学习代理的注意力模型来模拟人群中所有代理的影响。 换句话说，我们试图回答这个问题：人类在人群中导航时会关注哪些周围的代理？ 我们的假设是，我们的模型学习的轨迹表示使我们能够有效地推理周围代理的重要性，而不是仅考虑空间上的本地代理。
如第一节所述，为了模拟人类之间的交互，我们无法独立预测每个人的未来位置。 相反，我们需要对多人进行联合推理并将他们的预测结合起来，以便捕捉他们之间的互动。 为实现这一目标，我们使用前馈、完全可微、联合训练的 RNN 混合物来预测它们未来的位置并捕捉人与人之间的交互。 为此，我们的方法建立在 [10] 中提出的架构之上。
A. 时空图表示
我们使用与 [10] 类似的时空图（st-graph）表示，其中 G = (V, ES , ET )，其中 G 是 stgraph，V 是节点集，ES 是空间边的集合，ET 是时间边的集合。 请注意，图 (V, ES ) 使用 ET 展开以形成 G。 因此，在展开的 stgraph 中，同一时间步长的不同节点使用边 ES 连接，而相邻时间步长的相同节点使用边 ET 连接 . 有关一般 st-graph 表示的更多详细信息，我们请读者参阅 [10]。
在这项工作中，我们将人类轨迹预测问题表述为时空图。 st-graph 的节点代表人群中的人，空间边在同一时间步连接两个不同的人，时间边在相邻的时间步连接同一个人。 空间边缘旨在捕捉两个人之间相对方向和距离的动态，而时间边缘则捕捉人类自身轨迹的动态。 在时间步长 t 与节点 v 关联的特征向量是 x tv = (x tv , y v t )，即相应人类的空间位置。 与 at )、空间边 (u, v) ∈ ES 在时间步长 t 相关的特征向量是 x tuv = (x tuv , y uv 从 u 在时间 t 的位置到 v 在 t 的位置的向量（编码 相对方向和距离。类似地，与时间步长 t 的时间边 (u, u) ∈ ET t 相关联的特征向量是 x tuu = (x tuu , y uu )，即来自节点 u 在 t 的位置的向量 ? 1 到它在 t 的位置。相应的 st-graph 表示（带有展开的 st-graph）如图 2 所示。
st-graph 的因子图表示将图中每个节点的因子函数和图中每条边的成对因子函数关联起来，如图 2 所示。 在每个时间步，st-graph 中的因子观察节点/ 边缘特征并对这些特征执行一些计算。
这些因素中的每一个都有需要学习的参数。
在我们的公式中，所有节点共享相同的因子，使模型具有可扩展性，可以在不增加参数数量的情况下处理更多节点（在密集人群中）。 出于类似的原因，所有空间边缘共享一个公共因子，所有时间边缘共享相同的因子函数。 请注意，空间边缘和时间边缘的因子是不同的，因为它们捕获轨迹的不同方面。
这种参数共享对于在不同人数的场景中进行泛化是必要的，并保持参数化紧凑。
B. 模型架构
因子图表示很自然地适用于 S-RNN 架构 [10]。 我们用 RNN 表示每个因素。 因此，对于每个节点因子，我们有 nodeRNNs {R v }，对于每个边缘因子，我们有 edgeRNNs {R uv }。 请注意，所有 nodeRNN、空间 edgeRNN 和时间 edgeRNN 都共享参数。 空间 edgeRNN 对人群中人与人交互的动态进行建模，而时间 edgeRNN 对人群中每个人的个体运动动态进行建模。 nodeRNNs 使用来自相邻 edgeRNNs 的节点特征和隐藏状态来预测节点在下一个时间步的未来位置。 我们想强调的是，由于我们在所有节点和边上共享模型参数，因此参数的数量与任何给定时间的行人数量无关。
我们的架构与 S-RNN 架构不同，它引入了一个注意力模块来计算每个节点的相邻空间边缘 RNN 隐藏状态的软注意力，如图 3 所示。我们将在以下小节中描述这些组件中的每一个。
1) EdgeRNN ：每个空间边RNN R uv 在每个时间步长t，采用相应边的特征x tuv ，将其嵌入到一个固定长度的向量e tuv 中，并用作RNN 单元的输入，如下所示：
公式（1）
公式（2）
其中 φ(·) 是一个嵌入函数，W 个空间 t ding 权重，h uv 是 RNN 在时间 t r 的隐藏状态，是空间 edgeRNN 单元的权重。
和 W 空间 时间边缘 RNN R uu 以类似的方式定义 er 和 W 时间，分别用于具有自己的一组权重 W 时间床上用品和边缘RNN 的 em。 因此，edgeRNN 的可训练参数是 W temporal = {W temporal e r , W spatial }。
2) 注意力模块 ：对于每个节点 v，注意力模块计算对节点 v 所属空间边缘的边 RNNs R v· 的隐藏状态 h tv· 的软注意力
到。 观察到这与 [10] 中的 S-RNN 架构不同，其中这些空间边缘的边缘特征被添加并发送到 edgeRNN 以计算单个隐藏状态，该隐藏状态用作 nodeRNN 的输入。
在每个节点 v 的每个时间步长 t，我们计算其相应时间边 RNN R vv 的隐藏状态 h tvv 与相邻空间边 RNN R v· 的所有隐藏状态 h tv· 之间的分数。 使用的评分函数是缩放的点积注意力 [30]，由下式给出：
公式（3）
其中 m 是与节点相关联的空间边的数量，W 1 ，W 2 是权重以线性缩放并将隐藏状态投影到 d 维向量中。 使用 √ m d 缩放点积是必要的，因为点积注意力 e 对于 [30] 中发现的大 d e 值表现不佳，并且空间边缘的数量从帧到帧变化，具体取决于代理的数量。
输出向量 H v t 计算为 t h v· 的加权和，权重为计算分数的 softmax， z
公式（4）
因此，注意力模块中的可训练参数是权重 W 1 和 W 2 。
3）NodeRNN ：最后，nodeRNN R v 在每个时间步长 t，取对应节点的特征 x tv ，将其嵌入到一个固定长度的向量 e tv 中。 它还采用相应时间边RNN R vv 的隐藏状态h tvv ，将其与计算出的注意力输出H v t 连接起来，并将其嵌入到一个固定长度的向量a tv 中。 这些嵌入被连接起来并作为输入发送到 RNN 单元，如下所示：
公式5、6、7
RNN 单元在时间步长 t 的隐藏状态为 o 得到一个 5D 向量通过一个线性层 W 节点 t+1 t+1 t+1 (μ v , σ v , ρ v ) 对应于预测均值， 二元高斯分布的标准偏差和相关性，类似于 [6]。
公式（8）
因此，nodeRNN 的可训练参数为 W node = e h r o , W node , W node , W node }。
C. 训练模型
我们通过在所有预测时间步长 t = T obs +1, · · · , T 上最小化节点真实位置 (x tv , yvt ) 的负对数似然损失 L v 来联合训练整个模型 在预测的二元高斯分布（μ tv , σ vt , ρ tv ）下预测如下：
在训练数据集中所有节点的轨迹上计算损失并进行反向传播。 请注意，我们通过 nodeRNN、空间 edgeRNN 和时间 edgeRNN 联合反向传播，从而更新它们的所有参数以最小化损失。
D. 路径预测的推理
在测试时，我们将训练好的模型拟合到时间步长 t = 1, · · · , T obs 的观察轨迹，并从预测的二元高斯分布中取样以获得预测位置 {(x? tv , ? vt )} 对于所有行人，时间步长 t = T obs + 1, · · · , T pred 。 正式地，
公式（9）
对于时间步长 t > T obs + 1，我们使用前一时间步长的预测位置 {(x? tv , ? vt )} 代替真实坐标 {(x tv , yvt )} 作为节点特征 x tv ，类似于[1]。
预测位置还用于计算这些时间步长的边缘特征 x tuv。
评估
A. 数据集和指标
我们在两个公开可用的数据集上评估我们的模型，我们称之为社会注意力：ETH [23] 和 UCY [20]。
这两个数据集包含 5 个人群集，共有 1536 名行人表现出复杂的交互，例如一起行走、群体交叉、联合避撞和非线性轨迹，如 [23] 所示。 这些数据集以每秒 25 帧的速度记录，每 0.4 秒注释一次，包含 4 个不同的场景。 如 [1] 所示，Social LSTM 的性能优于其他传统方法，例如线性模型、社会力模型 [8] 和交互高斯过程 [28]。 因此，我们选择 Social LSTM 作为基线来比较我们方法的性能。
为了计算预测误差，我们考虑以下两个指标：
1) 平均位移误差 ：类似于 [23] 中使用的指标，它计算预测轨迹中每个时间步长所有估计点的平均欧几里德距离和真实 弹道。
2) 最终位移误差 ：在 [1] 中引入，该度量计算 T pred 时间步长后最终预测位置和最终真实位置之间的平均欧几里德距离。
与 [1] 类似，我们使用留一法，在 4 个集合上训练和验证我们的方法，并在剩余的集合上进行测试。 我们对所有 5 组重复此操作。 对于验证，在每个集合中，我们将轨迹集划分为 80 - 20 分割用于训练和验证数据。 我们的基线 SocialLSTM，[1]，也以同样的方式进行了训练。 我们观察 T obs = 8 个时间步长（对应于 3.2 秒）的轨迹并预测下一个 T pred ? T obs = 12 个时间步长（对应于 4.8 秒）的轨迹。 我们还对独立的 LSTM 方法进行了相同的实验，该方法独立地对每个轨迹进行建模。
B. 实现细节
我们在我们的社会注意力模型中使用 LSTM 作为 RNN。
nodeRNN 的隐藏状态维数设置为 128，edgeRNN 的隐藏状态维数设置为 256。网络中的所有嵌入层都将输入嵌入到具有 ReLU 非线性的 64 维向量中。 注意维度，即等式 3 中的 d e，设置为 64。使用 8 的批量大小，并使用 Adam 以 0.001 的初始学习率训练网络 100 个时期。 梯度的全局范数被剪裁为 10，以确保稳定的训练。 该模型是在单个 Titan-X GPU 上训练的。
对于 Social LSTM 实现，我们尽最大努力 [32] 遵循 [1] 中指定的实现细节。
C. 定量结果
表 I 中列出了所有方法在 5 个人群集上的预测误差。朴素的独立 LSTM 方法导致高预测误差，因为与 Social LSTM 和 Social Attention 不同，它无法捕获人与人之间的交互。 然而，在某些情况下，独立 LSTM 方法的性能略好于其他方法，尤其是在几乎没有任何交互的稀疏人群设置中。 我们的模型 Social Attention 在两个指标的所有人群中始终比 Social LSTM 表现更好。 特别是，在 ETH-Hotel 人群集中，我们的方法明显优于其他方法，支持我们对非本地交互的假设如下。 该人群集包含许多静止的行人或以不同的速度和方向相互靠近的行人。 对于静止的行人，如果他们在当地社区内，Social LSTM 认为他们很重要，而 Social Attention 并不重视这些代理，因为它们不会以显着的方式影响其他人的运动。
在行人互相冲撞的情况下，Social LSTM 在他们进入彼此的本地邻域之前不会考虑他们，而 Social Attention 根据他们的速度和方向从远处捕获他们之间的相互作用。 通过从数据中学习人群中每个行人的相对重要性，Social Attention 可以产生更准确的预测。
在我们的评估中，我们还包括了行人的预测误差，这些行人在稍后进入人群时我们观察到的时间步长少于 T obs。 通常，当我们的观察次数较少时，模型的预测精度自然会降低。 这是我们的 Social LSTM 结果与原始论文 [1] 的结果不同的主要原因之一，因为他们忽略了这些场景。 另一方面，我们认为它们很重要，因为它们经常发生在真正的机器人导航中。
考虑人群中的所有代理增加了我们方法的计算复杂度，但模型中的推理在 GPU 上并行化以确保实时性能（10Hz）。
D. 定性结果 社会注意力的定性结果如图 4 所示。为了分析学习到的注意力模型，我们考虑了数据集中的几个人群场景，并提取了预测的注意力权重（等式 4 中分数的 softmax）。 这让我们观察相对重要性正如社会注意力所预测的那样，每个行人对特定行人的运动的影响。 图 4 (a)-? 显示了模型成功识别重要行人的场景，图 4 (d)-(f) 突出显示了模型失败的场景。 在（a）中，与远处的其他人相比，该模型对靠近的动态行人具有更高的权重。 (b) 展示了一个场景，其中模型预测本地社区中静止的行人相对较远的动态行人不那么重要。
在（c）中，模型为每个动态行人分配了同等的相对重要性，因为他们都离得太远而无法施加任何影响。
有几种情况我们的模型错误地预测了相对重要性。 图 4 (d) 和 (f) 显示了模型将高注意力权重分配给距离较远且移动方式（或如 (f) 中的静止）的行人无法完全施加任何影响的场景 忽略附近更重要的行人。
最后在（e）中，模型预测所有三个动态行人的注意力权重相等，而其中一个显然比其他人更重要。 调查我们模型的这种预测失败的原因留给未来的工作。
结论
确定在人群中自主机器人导航需要准确的人体轨迹预测，我们提出了一种基于注意力的轨迹预测模型，社会注意力。 我们的模型学习人群中每个行人对另一个行人的规划行为的相对影响，并准确预测他们未来的轨迹。 我们使用 RNN 混合模型来模拟人群中轨迹的时间和空间动态。 由此产生的模型是前馈的、完全可微的，并且经过联合训练以捕捉行人之间的人与人之间的交互。 我们表明，在两个公开可用的数据集上，我们提出的方法在预测误差方面优于最先进的方法。 我们还分析了学习到的注意力模型，以了解在人群中导航时人类会关注哪些周围的代理，并呈现定性结果。 未来的工作可以扩展模型以包括环境中的静态障碍物。 这项工作中采用的 S-RNN 架构可以自然地扩展建模不同的语义实体，如[10]所示。 我们还计划在放置在人群中的真实机器人上验证和验证我们的模型，预测周围人类的未来轨迹并规划自己的路径（使用类似 [33] 的方法）到达目的地。 除此之外，将我们模型的性能与基于 IRL 的方法（例如 [17]、[18]、[24]）进行比较也很有用，这些方法目前不能很好地扩展到大量人群。
|