IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> Temporal Binary Representation for Event-BasedAction Recognition论文笔记 -> 正文阅读

[人工智能]Temporal Binary Representation for Event-BasedAction Recognition论文笔记

一.本文贡献

1.我们提出了一种称为时间二进制表示的事件数据的紧凑表示,利用二进制事件序列到编码空间和时间信息的帧的转换

2.我们的公式允许调整信息丢失和内存占用,使其适合实时应用

3.我们收集了流行的DVS128手势数据集在挑战性条件下的扩展

二.事件的表示

本文提出了一种新的事件的表示方式,与时间表面的思路相似,TBR也是通过累计事件将异步的事件转换为同步事件进行处理的,不同于时间表面是将时间戳进行累计,本文采用了一种二进制的表示方式

?简单解释就是给定一个固定的?t,检查在这个?t中每个像素是否有事件发生,如果有,则在这个像素上返回值为1,反之则返回0,这样就可以得到如上图所示的一张二进制表示的“时间表面”,将8个?t的表面累加起来得到八位的二进制数字,每个像素的二进制再转化为十进制,最后就能够得到类似于灰度图的结果,这样就能够送进传统的网络结构中。

三.Model

采用了两种不同的体系结构,一种是:

我们将卷积神经网络与递归神经网络相结合来提取空间特征,并对帧序列进行处理。作为一个特征提取器,我们训练了一个AlexNet,用一个带有512个神经元的单层替换最终完全连接的层。序列中每个帧的输出直接馈送到长短时存储器(LSTM),该存储器具有两层,每个层的隐藏尺寸为256。最后,使用softmax激活的完全连接层执行分类

另一种是:

我们采用的第二个模型是Inception 3D模型,这是一种最先进的架构,广泛采用RGB数据进行动作识别。基于Inception-V1,该模型依赖于膨胀的3D卷积,通过向过滤器中添加第三维,并汇集内核来学习时空特征提取器。该模型最初有两个单独的RGB和光流数据流。在这里,我们只需删除一个分支,并使用TBR聚合的事件摄影机数据重新训练模型

四.实验

?

?可以看出累积时间?t低于阈值后并不会带来效果的提升

?

?五.总结

本文的思路较为简单,采用二进制的表示方式根本原因是考虑到了事件的异步性,各个时间戳发生的事件会对聚合成帧的事件产生影响,感觉效果类似于LSTM,感觉也是属于累计时间窗的一种事件表示方式。

六.个人想法

因为我还没有看代码,原文中是一个像素点如果有事件发生记为1,没有事件发生记为0 ,没有考虑到正负极性的事件,这里感觉可以使用三进制替换二进制,因为事件的极性有-1,0,1,如果考虑到事件的不同极性也许效果会更好

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-10-12 23:26:02  更:2021-10-12 23:27:56 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 10:25:49-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码