| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 人工智能 -> Temporal Binary Representation for Event-BasedAction Recognition论文笔记 -> 正文阅读 |
|
[人工智能]Temporal Binary Representation for Event-BasedAction Recognition论文笔记 |
一.本文贡献1.我们提出了一种称为时间二进制表示的事件数据的紧凑表示,利用二进制事件序列到编码空间和时间信息的帧的转换 2.我们的公式允许调整信息丢失和内存占用,使其适合实时应用 3.我们收集了流行的DVS128手势数据集在挑战性条件下的扩展 二.事件的表示本文提出了一种新的事件的表示方式,与时间表面的思路相似,TBR也是通过累计事件将异步的事件转换为同步事件进行处理的,不同于时间表面是将时间戳进行累计,本文采用了一种二进制的表示方式 ?简单解释就是给定一个固定的?t,检查在这个?t中每个像素是否有事件发生,如果有,则在这个像素上返回值为1,反之则返回0,这样就可以得到如上图所示的一张二进制表示的“时间表面”,将8个?t的表面累加起来得到八位的二进制数字,每个像素的二进制再转化为十进制,最后就能够得到类似于灰度图的结果,这样就能够送进传统的网络结构中。 三.Model采用了两种不同的体系结构,一种是: 我们将卷积神经网络与递归神经网络相结合来提取空间特征,并对帧序列进行处理。作为一个特征提取器,我们训练了一个AlexNet,用一个带有512个神经元的单层替换最终完全连接的层。序列中每个帧的输出直接馈送到长短时存储器(LSTM),该存储器具有两层,每个层的隐藏尺寸为256。最后,使用softmax激活的完全连接层执行分类 另一种是: 我们采用的第二个模型是Inception 3D模型,这是一种最先进的架构,广泛采用RGB数据进行动作识别。基于Inception-V1,该模型依赖于膨胀的3D卷积,通过向过滤器中添加第三维,并汇集内核来学习时空特征提取器。该模型最初有两个单独的RGB和光流数据流。在这里,我们只需删除一个分支,并使用TBR聚合的事件摄影机数据重新训练模型 四.实验? ?可以看出累积时间?t低于阈值后并不会带来效果的提升 ? ?五.总结本文的思路较为简单,采用二进制的表示方式根本原因是考虑到了事件的异步性,各个时间戳发生的事件会对聚合成帧的事件产生影响,感觉效果类似于LSTM,感觉也是属于累计时间窗的一种事件表示方式。 六.个人想法因为我还没有看代码,原文中是一个像素点如果有事件发生记为1,没有事件发生记为0 ,没有考虑到正负极性的事件,这里感觉可以使用三进制替换二进制,因为事件的极性有-1,0,1,如果考虑到事件的不同极性也许效果会更好 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/27 10:25:49- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |