江苏龙网

  1. 首页 > 人文 > >

N-BEATS：神经网络底层扩展分析，用于可解释的时间序列预测

N-BEATS：神经网络底层扩展分析 ， 用于可解释的时间序列预测题目：
N-BEATS:Neuralbasisexpansionanalysisforinterpretabletimeseriesforecasting
作者：
BorisN.Oreshkin,DmitriCarpov,NicolasChapados,YoshuaBengio
来源：
ComputerVisionandPatternRecognition(cs.CV)
ICLR2020
Submittedon25Jul2019(v1),lastrevised8Apr2020(thisversion,v4)
文档链接：
https://openreview.net/pdf?id=r1ecqn4YwB
代码链接：
https://github.com/amitesh863/nbeats_forecast
摘要我们专注于使用深度学习来解决单变量时间序列点预测问题 。 我们提出了一种基于神经网络的深层神经结构 ， 该结构基于向前和向后的残差链接以及非常深的全连接层堆栈 。 该体系结构具有许多理想的属性 ， 这些属性可以解释 ， 可以在不修改大量目标域的情况下适用 ， 并且训练迅速 。 我们在几个著名的数据集上测试了提议的体系结构 ， 包括M3 ， M4和TOURISM竞赛数据集 ， 其中包含来自不同领域的时间序列 。 我们展示了针对所有数据集的两种N-BEATS配置的最新性能 ， 与统计基准相比 ， 预测准确性提高了11％ ， 与去年M4竞赛的获胜者相比 ， 提高了3％ ， 在神经网络和统计时间序列模型之间进行领域调整的手工混合 。 我们模型的第一个配置未使用任何特定于时间序列的组件 ， 并且其在异构数据集上的性能强烈表明 ， 与公认的知识相反 ， 深度学习原语（例如残差块）本身足以解决各种预测问题 。 最后 ， 我们演示了如何扩展所建议的体系结构以提供可解释的输出 ， 而不会造成准确性的重大损失 。 诸如残差块之类的深度学习原语本身就足以解决各种预测问题 。 最后 ， 我们演示了如何扩展所建议的体系结构以提供可解释的输出 ， 而不会造成准确性的重大损失 。 诸如残差块之类的深度学习原语本身就足以解决各种预测问题 。 最后 ， 我们演示了如何扩展所建议的体系结构以提供可解释的输出 ， 而不会造成准确性的重大损失 。
英文原文Wefocusonsolvingtheunivariatetimesseriespointforecastingproblemusingdeeplearning.Weproposeadeepneuralarchitecturebasedonbackwardandforwardresiduallinksandaverydeepstackoffully-connectedlayers.Thearchitecturehasanumberofdesirableproperties,beinginterpretable,applicablewithoutmodificationtoawidearrayoftargetdomains,andfasttotrain.Wetesttheproposedarchitectureonseveralwell-knowndatasets,includingM3,M4andTOURISMcompetitiondatasetscontainingtimeseriesfromdiversedomains.Wedemonstratestate-of-the-artperformancefortwoconfigurationsofN-BEATSforallthedatasets,improvingforecastaccuracyby11%overastatisticalbenchmarkandby3%overlastyear'swinneroftheM4competition,adomain-adjustedhand-craftedhybridbetweenneuralnetworkandstatisticaltimeseriesmodels.Thefirstconfigurationofourmodeldoesnotemployanytime-series-specificcomponentsanditsperformanceonheterogeneousdatasetsstronglysuggeststhat,contrarilytoreceivedwisdom,deeplearningprimitivessuchasresidualblocksarebythemselvessufficienttosolveawiderangeofforecastingproblems.Finally,wedemonstratehowtheproposedarchitecturecanbeaugmentedtoprovideoutputsthatareinterpretablewithoutconsiderablelossinaccuracy.
N-BEATS结构所提议的基本构建块具有一个分支架构 ， 如图1(左)所示 。 在本节中 ， 我们着重详细描述第t个块的操作（为简便起见 ， 在图1中删除了块索引`） 。 第t个块接受其各自的输入x ， 并输出两个向量bx和by 。 对于模型中的第一个块 ， 其相应的x`是整体模型输入的一定长度的历史回溯窗口 ， 以最后一次测量的观测值结束
N-BEATS：神经网络底层扩展分析，用于可解释的时间序列预测
文章图片

图1:提议的架构 。 其基本构件是具有相关非线性的多层FC网络 。 它预测基础上扩张系数都向前,θ^f(预测)和落后,θ^b(展望) 。 块被组织成堆叠使用双重剩余堆积原则 。 堆栈可以有共享的g^b和g^f层 。 预测以分级方式汇总 。 这使得构建一个具有可解释输出的深度神经网络成为可能 。
实验结果表1:在M4、M3、旅游测试集上的性能 ， 聚合在每个数据集上 。 为每个数据集指定评估指标;数值越低越好 。 括号中提供了每个数据集中的时间序列数量 。
N-BEATS：神经网络底层扩展分析，用于可解释的时间序列预测
文章图片

根据表1,N-BEATS在三个具有挑战性的非重叠数据集上展示了最先进的性能 ， 这些数据集包含来自非常不同领域的时间序列、采样频率和季节性 。 通用的N-BEATS模型使用尽可能少的先验知识 ， 没有特征工程 ， 没有缩放 ， 也没有内部的体系结构组件 ， 这些组件可能被认为是特定于时间序列的 。
因此 ， 表1中的结果使我们得出这样的结论:DL不需要统计方法或手工特征工程和领域知识的支持 ， 就可以在大量的TS预测任务中表现得非常好 。
讨论:N-BEATS与元学习的联系元学习Meta-learning
元学习定义了一个内在的学习过程和一个外在的学习过程 。 内部学习过程是参数化、条件化或受外部学习过程影响的(Bengioetal. ， 1991) 。
典型的内学习和外学习是个体在动物的一生中学习 ， 而内学习过程则是个体在几代人的时间里不断进化 。 要了解这两个层次 ， 通常需要参考两组参数 ， 即在内部学习过程中修改的内部参数(如突触权重) ， 及外部参数或元参数(如基因)只在外部学习过程中被修改 。
N-BEATS可以通过以下类比作为元学习的一个实例 。 外部学习过程被封装在整个网络的参数中 ， 通过梯度下降学习 。 内部学习过程封装在一组基本构建模块中 ， 并进行修改底层gf作为输入的扩张系数θf
N-BEATS：神经网络底层扩展分析，用于可解释的时间序列预测
文章图片

图2:通用配置和可解释配置的输出 ， M4数据集 。 每行是每个数据频率的一个时间序列例子 ， 从上到下(年:idY3974 ， 季度:idQ11588 ， 月:idM19006 ， 周:idW246 ， 日:idD404 ， 小时:idH344) 。
为了方便起见 ， 将行中的大小按实际时间序列的最大值进行标准化 。 (a)列显示实际值(ACTUAL)、一般模型预测(FORECAST-G)和解释模型预测(FORECAST-I) 。 列(b)和(c)分别显示了通用模型的栈1和栈2的输出;FORECAST-G是它们的总和 。 列(d)和(e)分别显示可解释模型的趋势和季节性堆栈的输出;FORECAST-I是它们的总和 。
结论【N-BEATS：神经网络底层扩展分析，用于可解释的时间序列预测】我们提出并实证验证了一种新的单变量TS预测体系结构 。 结果表明 ， 该体系结构具有通用性、灵活性和良好的预测性能 。 我们将其应用于三个不重叠的挑战性竞争数据集:M4、M3和旅游业 ， 并在两种配置下展示了最先进的性能:通用和可解释 。 这使我们能够验证两个重要的假设:(i)一般的DL方法在不使用TS领域知识的异构单变量TS预测问题上表现得非常好 ， (ii)另外约束DL模型迫使其将预测分解为不同的人类可解释输出是可行的 。 我们还证明了DL模型可以以多任务的方式在多个时间序列上进行训练 ， 成功地传递和共享个体的学习 。 我们推测 ， N-BEATS的表现在一定程度上可以归因于它进行了一种元学习的形式 ， 对它进行更深入的研究应该是未来工作的主题 。


    推荐阅读


    上一篇：员工加班到凌晨3点，在办公室睡觉被罚款，员工觉得很委屈

    下一篇：ICLR 2020 | 浅谈 GNN：能力与局限