[人工智能]wg-read

1群体行为识别

1.1?交互/图for 行为识别

1.1.2?个体+分层

【A---- 分层，人人交互，LSTM】Xiangbo Shu 2018 Xiangbo Shu, Jinhui Tang, Guo-Jun Qi, Wei Liu, Jian Yang:Hierarchical Long Short-Term Concurrent Memory for Human Interaction Recognition. CoRR abs/1811.00270 (2018)

在这项工作中，我们旨在解决人类互动识别的问题，在视频中探索的长期相互关联的动态之间的人。近年来，长短期记忆(LSTM)由于能够捕获一定范围内的时间运动信息而成为一种流行的个体动态识别方法。然而，大多数现有的基于lstm的方法只专注于捕捉人类互动的动态，通过简单地结合个人的所有动态或将它们作为一个整体建模。这种方法忽视了人类互动如何随时间变化的相互关联的动态。为此，我们提出了一种新的分层长短期并发记忆(H-LSTCM)模型来模拟一组人之间的长期相互关联动态，以识别人类互动。具体来说，我们首先将每个人的静态特征输入到一个单人LSTM中，以建模单人动态。随后，将所有单机LSTM单元的输出一次性输入到一个新的并发LSTM单元(Co-LSTM)，该单元主要由多个子存储单元、一个新的cell gate和一个新的co-memory cell组成。在Co-LSTM单元中，每个子记忆单元存储个体的运动信息，而Co-LSTM单元通过细胞选择性地整合和存储多个子记忆单元中多个相互作用的人之间相互关联的运动信息分别是门和共记忆单元。在多个公共数据集上进行了大量的实验，并与基线和最新的方法进行了比较，验证了所提出的H-LSTCM方法的有效性。

【A -- 层次，聚类，CNN-LSTM】Ashish Goyal 2018 Ashish Goyal, Neha Bhargava, Subhasis Chaudhuri, Rajbabu Velmurugan:Hierarchical Deep Network for Group Discovery and Multi-level Activity Recognition. ICVGIP 2018: 37:1-37:7

我们提出了一种基于深度网络的层次框架，用于从不同粒度的视频中识别人们集体进行的活动——个人、团体和整体(或场景级别)。人的个体分析包括人的检测、跟踪、姿态估计和个体活动识别等。现有的集体活动识别工作大多集中在整体场景活动估计上。然而，在多个组执行不同的组活动的场景中，孤立的整体场景活动识别描绘了各种活动的不完整画面。因此，识别组和识别它们的活动对于理解场景的完整性非常重要。为此，我们在现有的方法中添加了一个额外的层，用于查找场景中出现的人群(或集群)及其活动。然后我们利用这些群体活动和场景背景来识别场景活动。为了发现这些群体，我们在框架内提出了一个最小-最大准则来训练一个子网络，该子网络学习任意两个个体之间的成对相似性，用于聚类算法识别群体。组活动由LSTM模块捕获，而个人活动和场景活动则由基于CNN-LSTM的模块捕获。这些模块连同分组层构成了提议的网络。我们评估网络在一个公开可用的数据集，以表明我们方法的有效性。

【A 层次LSTM】Mostafa S. Ibrahim 2016 Mostafa S. Ibrahim, Srikanth Muralidharan, Zhiwei Deng, Arash Vahdat, Greg Mori:A Hierarchical Deep Temporal Model for Group Activity Recognition. CVPR 2016: 1971-1980

在群体活动识别中，可以根据代表活动的个体的动态来推断整个活动的时间动态。我们基于LSTM(long - short-term memory)模型构建了一个深度模型来捕捉这些动态。为了利用这些观察结果，我们提出了一个两阶段深度时间模型来解决群体活动识别问题。在我们的模型中，设计了一个LSTM模型来表示个体的行为动态，另一个LSTM模型用来聚合个体层面的信息来进行整个活动的理解。我们在两个数据集上评估我们的模型:集体活动数据集和一个新的排球数据集。实验结果表明，与基线方法相比，该模型提高了群体活动识别性能。

主要内容：

（1）除了第一LSTM层捕获的时间特征外，利用深度CNN模型提取每个人的复杂特征

(2) CNN特征与LSTM层的拼接代表了一个人的时间特征。在每个时间步骤中，可以使用各种池策略来聚合场景中所有人的这些特征

(3)池化层的输出形成了我们对组活动的表示。第二个LSTM网络，在时间表示的基础上工作，被用来直接建模群体活动的时间动态。第二网络的LSTM层直接连接到分类层，以检测视频序列中的组活动类。

我们分两步训练模型。在第一步中，使用一组由带有动作标签的人轨迹组成的训练数据，以端到端方式对人级CNN和第一个LSTM层进行训练。我们使用Caffe[14]来实现我们的模型。与其他方法[9,7,38]类似，我们使用预先训练好的AlexNet网络初始化CNN模型，并为第一LSTM层对整个网络进行微调。第一个LSTM层使用9个时间步和3000个隐藏节点，分类层部署一个softmax层。训练完第一个LSTM层后，我们将AlexNet的fc7层和LSTM层连接起来，并对场景中的所有人进行集合。将与帧级特征相对应的池化特征馈给第二个LSTM网络。该网络由一个3000节点完全连接的层和一个9时间步长500节点的LSTM层组成，LSTM层被传递给一个训练识别组活动标签的softmax层。

系统框架：

【S?层次LSTM+图】Xiangbo Shu?2021 ???Xiangbo Shu,?Liyan Zhang,?Yunlian Sun,?Jinhui Tang:
Host-Parasite:?Graph?LSTM-in-LSTM?for?Group?Activity?Recognition.?IEEE Trans. Neural Networks Learn. Syst.?32(2):?663-674?(2021)