训练深度时间序列预测模型的形状和时间失真损失

训练深度时间序列预测模型的形状和时间失真损失

题目：

Shape and Time Distortion Loss for Training Deep Time Series Forecasting Models

做者：

Vincent Le Guen (CEDRIC - MSDMA, EDF R&D PRISME), Nicolas Thome (CEDRIC - MSDMA)

来源：

Machine Learning (cs.LG)

Submitted on 19 Sep 2019 

文档连接：

arXiv:1909.09020

代码连接：

https://github.com/vincent-leguen/STDL

摘要

本文研究了非平稳信号的时间序列预测和将来多步预测问题。为了解决这一难题，咱们引入了形状和时间失真损失(STDL)，这是一种用于训练深度神经网络的新目标函数。STDL旨在准确地预测突变，并明确地结合了两个术语来支持精确的形状和时间变化检测。咱们介绍了一个可微的损失函数，适用于训练深度神经网络，并提供了一个自定义的支持实现，以加快优化。咱们还介绍了STDL的一个变体，它提供了一个平滑的时间约束动态时间扭曲(DTW)的泛化。在各类非平稳数据集上进行的实验代表，与标准均方偏差(MSE)损失函数训练的模型相比，STDL具备很好的性能，而且与DTW和变量相比也有很好的性能。STDL对于模型的选择也是不可知的，咱们强调了它对于训练彻底链接的网络和专门的周期性架构的好处，展现了它改进最早进的轨迹预测方法的能力。

英文原文

This paper addresses the problem of time series forecasting for non-stationary signals and multiple future steps prediction. To handle this challenging task, we introduce the Shape and Time Distortion Loss (STDL), a new objective function dedicated to training deep neural networks. STDL aims at accurately predicting sudden changes, and explicitly incorporates two terms supporting precise shape and temporal change detection. We introduce a differentiable loss function suitable for training deep neural nets, and provide a custom back-prop implementation for speeding up optimization. We also introduce a variant of STDL, which provides a smooth generalization of temporally-constrained Dynamic Time Warping (DTW). Experiments carried out on various non-stationary datasets reveal the very good behaviour of STDL compared to models trained with the standard Mean Squared Error (MSE) loss function, and also to DTW and variants. STDL is also agnostic to the choice of the model, and we highlight its benefit for training fully connected networks as well as specialized recurrent architectures, showing its capacity to improve over state-of-the-art trajectory forecasting approaches.

要点

本工做主要研究非平稳信号的多步预测问题，即将来数据什么时候不能仅从过去的周期性中推断，什么时候可能发生突变。这包括重要的和多样的应用领域，如调节电力消耗[63,36]，预测可再生能源生产[23]或交通流量的急剧间断[35,34]，心电图(ECG)分析[9]，股票市场预测[14]等。

本文的主要内容总结以下:

摘要介绍了在多步非平稳时间序列预测环境下训练深度神经网络的一种新的目标函数——形状和时间失真损失(STDL)。STDL明确地将与变化检测的形状和时间定位错误相关的惩罚分为两个术语(第3节)。STDL的行为如图1所示:时间项在图1(b)中很小(resp)。图1 (c))。STDL结合了形状和时间项，所以可以输出预测(b)和(c)的损失比预期的(a)小得多。为了用STDL训练深度神经网络，咱们推导出了形状和时间项的可微损失函数(第3.1节)，以及加速优化的高效自定义支持实现(第3.2节)。咱们还引入了STDL的一个变体，它提供了时间约束动态时间扭曲(DTW)度量的平滑泛化[43,28]。在几个合成和真实的非平稳数据集上进行的实验代表，用STDL训练的模型在用形状和时间失真度量进行评估时，显著优于用MSE损失函数进行评估的模型，而用MSE进行评估时，SDTL保持了很是好的性能。最后，咱们证实STDL能够用于各类网络架构，而且能够在形状和时间度量方面赛过为多步和非平稳预测而专门设计的最早进的模型。

图1:(a)非信息性预测。(b)形状正确，延时。(c)时间正确，形状不许确

图1:欧几里得损失的局限性:在预测突变(目标蓝阶函数)时，(a)、(b)和(c)三种预测具备类似的欧几里得损失，但预测技巧有很大不一样。相反，在这项工做中提出的STDL损耗，它将形状和时间衰减项分开，支持预测(b)和(c)，而预测(a)没有捕捉到政权的急剧变化。

图2:咱们提出的训练深度预测模型的框架。

图3:形状和时间失真损失计算，用于分离形状和时间偏差。

为了说明STDL方法的相关性，咱们对来自不一样领域的3个非平稳时间序列数据集（Synthetic、ECG5000、Traffic）进行了实验(见图4中的例子)。

图4:定性预测结果。

表1:使用MSE、形状和时间指标评估的预测结果，平均超过10次(平均标准误差)。对于每一个实验，最好的方法(学生t测试)用粗体表示。

表2:用Hausdorff和Ramp评分评价Seq2Seq的预测结果，平均超过10次(平均标准误差)。对于每一个实验，最好的方法(学生t测试)用粗体表示。

表3:与合成数据集上Seq2Seq模型的STDL纠结变量相比，平均运行超过10次(平均值±标准差)。

图5:STDL分析结果

图5(a): STDL的加速。图5 (b):α的影响

表4:与MSE训练的最早进的交通预测体系结构的比较，平均运行超过10次(平均值±标准差)。

结论

本文介绍了一种用于训练深度多步时间序列预测模型的可微损失函数——形状和时间失真损失(STDL)。STDL结合了两个术语，用于描述具备突变的非平稳信号的精确形状和时间定位。咱们展现了STDL在MSE上评估时与标准MSE损失至关，在几个形状和时间度量上评估时则要好得多。STDL在形状和时间方面与MSE训练的最早进的预测算法相比是最优的。

在将来的工做中，咱们打算将这些思想扩展到几率预测中，例如使用贝叶斯深度学习[21]来计算轨迹的预测分布，或者将STDL损失嵌入到适合几率预测的深度状态空间模型架构中。另外一个有趣的方向是使咱们的训练方案适应宽松的监督环境，如半监督的[42]或弱监督的[16]，以便在训练时仅使用分类标签(如是否存在变化点)进行完整的轨迹预测。

文字来源于网络 侵删

翻译：人工智能学术前沿

加关注

qq群号：966308496

人工智能学术前沿

长按左边二维码

感谢您的关注

本文分享自微信公众号 - 人工智能学术前沿（AI_Frontier）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。