DSANet:基于自双向注意力网络的多元时间序列预测模型git
题目:
github
DSANet: Dual Self-Attention Network for Multivariate Timeweb
Series Forecasting微信
做者:
网络
Siteng Huang,Donglin Wang∗,Xuehan Wu,Ao Tang框架
来源:ide
Machine Learning (cs.LG) 性能
CIKM ’19, November 3–7, 2019, Beijing, China学习
文档连接:flex
https://kyonhuang.top/files/Huang-DSANet.pdf
代码连接:
https://github.com/bighuang624/DSANet
摘要
多元时间序列预测在系统、交通、金融等领域受到普遍关注。任务的难点在于传统的方法没法捕捉时间步长和多个时间序列之间复杂的非线性依赖关系。近年来,递归神经网络和注意机制被普遍应用于多时间步长的周期性时间模式的建模。然而,这些模型不适用于动态周期模式或非周期模式的时间序列。本文提出了一种双关注网络(DSANet)来进行高效的多变量时间序列预测,特别适用于动态周期或非周期序列。DSANet彻底不须要递归,而是利用两个并行的卷积份量,即全局时域卷积和局部时域卷积,来捕获全局和局部时域模式的复杂混合。此外,DSANet还使用了一个自我关注模块来对多个系列之间的依赖关系进行建模。为了进一步提升鲁棒性,DSANet还集成了一个与非线性神经网络并行的传统自回归线性模型。对真实世界多变量时间序列数据的实验代表,该模型是有效的,性能优于基线。
英文原文
Multivariate time series forecasting has attracted wide attention in areas, such as system, traffic, and finance. The difficulty of the task lies in that traditional methods fail to capture complicated nonlinear dependencies between time steps and between multiple time series. Recently, recurrent neural network and attention mechanism have been used to model periodic temporal patterns across multiple time steps. However, these models fit not well for time series with dynamic-period patterns or nonperiodic patterns. In this paper, we propose a dual self-attention network (DSANet) for highly efficient multivariate time series forecasting, especially for dynamic-period or nonperiodic series. DSANet completely dispenses with recurrence and utilizes two parallel convolutional components, called global temporal convolution and local temporal convolution, to capture complex mixtures of global and local temporal patterns. Moreover, DSANet employs a self-attention module to model dependencies between multiple series. To further improve the robustness, DSANet also integrates a traditional autoregressive linear model in parallel to the non-linear neural network. Experiments on realworld multivariate time series data show that the proposed model is effective and outperforms baselines.
要点
为了对多元时间序列进行准确、稳健的预测,咱们提出了一种双自注意网络(DSANet),用于在没有外生信息的状况下进行高效的多元时间序列预测。在DSANet中,咱们首先将每一个单变量时间序列独立地注入两个并行的卷积份量,分别称为全局时域卷积和局部时域卷积,从而对全局和局部时域模式的复杂混合进行建模。接下来,将每一个卷积组件的学习时间序列表示输入到一个单独的自我注意模块中,目的是学习不一样序列之间的依赖关系。为了进一步提升鲁棒性,将自回归线性模型与DSANet的非线性注意网络并行集成。
相关工做(基线方法)
1.统计线性方法:向量自回归(VAR)模型
2.非线性关系方法:LRidge、LSVR[和Gaussian process (GP)。
3.神经网络模型:LSTM或GRU的递归神经网络,递归跳跃层(LSTNet-S)、时间注意层(LSTNet-A),时间模式注意机制(TPA)。
模型结构图
图1概述了咱们提出的DSANet。DSANet利用两个卷积结构,即全局时域卷积和局部时域卷积,将X中的每一个单变量序列嵌入到两个具备不一样尺度时间信息的表示向量中。

实验
评价指标:
1.均方根偏差(RMSE) 【偏差类,越小越好】
2.平均绝对偏差(MAE)【偏差类,越小越好】
各模型在各数据集上的性能评价指标结果:

RMSE、MAE比较结果:

结论
针对多变量时间序列预测问题,提出了一种新的深度学习框架——双注意网络(DSANet)。在大型真实数据集上的实验显示了优秀的结果。
文字来源于网络 侵删
翻译:人工智能学术前沿
点“在看”给我一朵小黄花
本文分享自微信公众号 - 人工智能学术前沿(AI_Frontier)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。