IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting -> 正文阅读

[人工智能]Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting

1.文章概述

1.1 主要贡献

本文提出了一个新的图卷积网络attention based spatial-temporal graph convolutional network (ASTGCCN),该网络主要有三个独立的部分组成,分别对交通流的三个时间属性进行建模(最近时间的、每日周期、每周周期),其中每个模块包含两个主要部分:1)时空注意力模块,去动态捕捉时空相关性。2)时空卷积模块,使用图卷积捕捉空间模式,使用标准卷积描述时间特征。

1.2 本文出发点

本文作者认为在邻近位置和时间戳进行的观察不是独立的,而是相互动态关联的。如下图所示,线段越粗代表两点之间关系越强,Figure1(a)中我们可以发现,不同的位置对A的影响不同,甚至同一个位置随着时间的推移对A的影响也不尽相同。Figure1(b)中可以观察到不同位置的历史观测对未来不同时间的A的交通状态有不同的影响。

在这里插入图片描述

1.3 相关工作

统计学:统计模型HA, ARIMA , VAR,这些方法需要数据来满足一些假设,但是流量数据太复杂,无法满足这些假设,因此它们在实践中通常表现不佳。

基于CNN和RNN:后续出现了CNN、LSTM等一系列方法用于提取交通数据的时空特征,但它们的局限性在于输入必须是标准的2D或三维网格数据。

图卷积:主要分为两种图卷积:基于谱理论的图卷积和基于空间扩散的图卷积。本文使用的是基于谱理论的图卷积。

注意力机制:通过计算出点之间关联程度,进行加权,本文同时采用图卷积和注意力机制对网络结构的交通数据进行建模

2. Attention Based Spatial-Temporal Graph Convolutional Networks

符号含义
q q q每日取样次数
x t c , i x_t^{c,i} xtc,i?图中节点i在时刻t第c个特征
x t i x_t^i xti?途中第i个节点在时刻t的所有特征
X t X_t Xt?在第t个时刻,所有节点的所有特征值
X h \mathcal{X}_{h} Xh?相邻时间段输入
X d \mathcal{X}_{d} Xd?日间隔的输入
X w \mathcal{X}_{w} Xw?周间隔的输入

在这里插入图片描述

三个时间维度的输入:

在这里插入图片描述

模型总共有三个输入: T h 、 T d 、 T w T_h、T_d、T_w Th?Td?Tw???,分别作为最近、日周期和周周期分量的输入长度, T h 、 T d 、 T w T_h、T_d、T_w Th?Td?Tw?都为 T p T_p Tp?的整数倍。???

ASTGCN模型由三个具有相同结构的独立组件组成,分别用于对历史数据的最近、每日周期和每周周期依赖性进行建模。三个时间输入使用相同的网络结构,每个组件都由几个时空块和一个全连接组成。其中每个时空块中有一个时空注意模块和一个时空卷积模块。网络为了优化训练效率使用残差连接。最终三个组件的输出合并为最终的预测结果。

2.1 Spatial-Temporal Attention

本文作者提出了一种新的时空注意力机制捕捉时空相关性,它由空间注意力机制和时间注意力机制组成。

  • Spatial attention

在空间维度上,不同地点的交通状况相互影响,相互影响是高度动态的。这里,我们使用注意机制来自适应地捕捉空间维度中节点之间的动态相关性。
S = V s ? σ ( ( X h ( r ? 1 ) W 1 ) W 2 ( W 3 X h ( r ? 1 ) ) T + b s ) S i , j ′ = exp ? ( S i , j ) ∑ j = 1 N exp ? ( S i , j ) \begin{gathered} \mathbf{S}=\mathbf{V}_{s} \cdot \sigma\left(\left(\mathcal{X}_{h}^{(r-1)} \mathbf{W}_{1}\right) \mathbf{W}_{2}\left(\mathbf{W}_{3} \mathcal{X}_{h}^{(r-1)}\right)^{T}+\mathbf{b}_{s}\right) \\ \mathbf{S}_{i, j}^{\prime}=\frac{\exp \left(\mathbf{S}_{\mathrm{i}, \mathrm{j}}\right)}{\sum_{j=1}^{N} \exp \left(\mathbf{S}_{\mathrm{i}, \mathrm{j}}\right)} \end{gathered} S=Vs??σ((Xh(r?1)?W1?)W2?(W3?Xh(r?1)?)T+bs?)Si,j?=j=1N?exp(Si,j?)exp(Si,j?)??
其中 X h r ? 1 \mathcal{X_h^{r-1}} Xhr?1?是上一层的输出, V s 、 b s 、 W 1 、 W 2 、 W 3 V_s、b_s、W_1、W2、W_3 Vs?bs?W1?W2W3???是??可训练参数。S为空间注意力矩阵,值 S i j S_{ij} Sij?代表节点i,j再空间上的依赖程度。最终S经过softmax函数进行归一化。

  • Temporal attention

在时间维度上,不同时间段的交通状况之间存在相关性,不同情况下的相关性也不同。
E = V e ? σ ( ( ( X h ( r ? 1 ) ) T U 1 ) U 2 ( U 3 X h ( r ? 1 ) ) + b e ) E i , j ′ = exp ? ( E i , j ) ∑ j = 1 T r ? 1 exp ? ( E i , j ) \begin{gathered} \mathbf{E}=\mathbf{V}_{e} \cdot \sigma\left(\left(\left(\mathcal{X}_{h}^{(r-1)}\right)^{T} \mathbf{U}_{1}\right) \mathbf{U}_{2}\left(\mathbf{U}_{3} \mathcal{X}_{h}^{(r-1)}\right)+\mathbf{b}_{e}\right) \\ \mathbf{E}_{i, j}^{\prime}=\frac{\exp \left(\mathbf{E}_{i, j}\right)}{\sum_{j=1}^{T_{r-1}} \exp \left(\mathbf{E}_{i, j}\right)} \end{gathered} E=Ve??σ(((Xh(r?1)?)TU1?)U2?(U3?Xh(r?1)?)+be?)Ei,j?=j=1Tr?1??exp(Ei,j?)exp(Ei,j?)??
这边于空间注意力机制相似,只是对输入进行转置变成时间维度上的向量相乘,计算出不同时间之间的相关程度。

2.2 Spatial-Temporal Convolution

由注意力机制调整的输入被馈送到时空卷积模块,其结构下图所示

在这里插入图片描述

  • Graph convolution in spatial dimension

本文采用的是基于拉普拉斯矩阵的图卷积具体卷积公式如下
g θ ? G x = g θ ( L ) x = ∑ k = 0 K ? 1 θ k ( T k ( L ~ ) ⊙ S ′ ) x g_{\theta} *_{G} x=g_{\theta}(\mathbf{L}) x=\sum_{k=0}^{K-1} \theta_{k}\left(T_{k}(\tilde{\mathbf{L}}) \odot \mathbf{S}^{\prime}\right) x gθ??G?x=gθ?(L)x=k=0K?1?θk?(Tk?(L~)S)x

  • 时间卷积

本文采取的应该是类似于STGCN的1-D Convolution具体公式如下
X h ( r ) = Re ? L U ( Φ ? ( Re ? L U ( g θ ? G X ^ h ( r ? 1 ) ) ) ) ∈ R C r × N × T r \boldsymbol{\mathcal { X }}_{h}^{(r)}=\operatorname{Re} L U\left(\Phi *\left(\operatorname{Re} L U\left(g_{\theta} *_{G} \hat{\mathcal{X}}_{h}^{(r-1)}\right)\right)\right) \in \mathbb{R}^{C_{r} \times N \times T_{r}} Xh(r)?=ReLU(Φ?(ReLU(gθ??G?X^h(r?1)?)))RCr?×N×Tr?
其中 X ^ h ( r ? 1 ) = X h ( r ? 1 ) E ′ \hat{\mathcal{X}}_{h}^{(r-1)}=\mathcal{X}_h^{(r-1)}E^{\prime} X^h(r?1)?=Xh(r?1)?E???

2.3 Multi-Component Fusion

某些地区的交通流量在早晨有明显的高峰时段,因此日时段和周时段分量的输出更为关键。然而,在其他一些地方没有明显的交通循环模式,因此日周期和周周期的组成部分可能是无用的。对其作者对三个组件的输出进行加权最终输出为:
Y ^ = W h ⊙ Y ^ h + W d ⊙ Y ^ d + W w ⊙ Y ^ w \hat{\mathbf{Y}}=\mathbf{W}_{h} \odot \hat{\mathbf{Y}}_{h}+\mathbf{W}_{d} \odot \hat{\mathbf{Y}}_{d}+\mathbf{W}_{w} \odot \hat{\mathbf{Y}}_{w} Y^=Wh?Y^h?+Wd?Y^d?+Ww?Y^w?

3.实验

数据集:PeMSD4,PeMSD8

预处理:作者移除了一些冗余探测器,以确保任何相邻探测器之间的距离都超过3.5英里。数据通过zero-mean normalization: x ′ = x ? m e a n ( x ) x′= x-mean(x) x=x?mean(x)进行转换,使平均值为0。

结果:其中MSTGCN为不加时空注意力机制的模型

在这里插入图片描述

在不同时间段的比较:可以发现该模型随时间间隔变成MAE和RMSE的上升趋势都较缓慢
在这里插入图片描述

4.展望

高速公路的交通流量受许多外部因素的影响,如天气和社会事件。未来,作者后续研究将考虑一些外部影响因素,进一步提高预测精度。

  人工智能 最新文章
AttributeError: Can‘t get attribute ‘x
python读取图像的几种方式
tf-encrypted介绍和代码示例
Pytorch基础:Torch.mul、Torch.mm与Torch.
【数据分析师-数据分析项目案例一】600w+条
python绘制三角函数图像
matlab深度学习基本操作,深度学习讲解,源
今日开发记录2021 8.8
pytorch之深入理解collate_fn
tensorrt踩坑随笔
上一篇文章      下一篇文章      查看所有文章
加:2021-07-28 13:25:45  更:2021-07-28 13:26:01 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
360图书馆 购物 三丰科技 阅读网 日历 万年历 2021年9日历 -2021/9/27 2:34:16-
图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码