时序数据处理中DNN和RNN的区别

DNNV vs RNN

在实际处理时序数据的时候思考了这么一个问题(知乎上也有人问):为什么要用RNN,不能把时间序列的数据都作为特征值输入全连接神经网络(DNN)吗?

我看到知乎上有个回答不错:

如果固定了就是前四天输入,预测第五天,普通的全连接完全可以解决这个问题,无非是拟合一个四元的高阶函数罢了。

但是大多数的时序问题,输入是变长的,而且非常长。有时输出也要求是变长一个序列。网络的形状都是固定的,故而普通的全连接无法解决输入输出的变长问题。

上面的回答我是认可的,在定长window作为输入下,确实可以用DNN或者其他机器学习模型,只不过收敛速度会慢些。

下面我们回到RNN如何处理时序数据。举例来说,我们做故障预测(注意这里是预测),已经知道了故障发生点,如何使用时序数据进行故障预测。

RNN方法一(有问题的方法)

首先我们不可能固定确定的window作为输入,因为不知道应该取1分钟,还是3分钟,还是5分钟。。。因此我们可能需要先截取一个相对较长的时间,比如5分钟的数据作为输入,也就是说故障发生点的前五分钟数据拿出来进行label,并且分成不同长度:

  1. 故障发生点向前推30秒
  2. 故障发生点向前推1分钟
  3. 故障发生点向前推2分钟
  4. 故障发生点向前推3分钟
  5. 故障发生点向前推4分钟
  6. 故障发生点向前推5分钟

相当于不同长度的时间序列打标为故障,同时取正常数据也是相同数据量的长度数据打标为正常。塞到RNN训练。

判定的时候,每一个instance的时间序列需要截成上述6种序列输入到model进行判定。即从当前时刻,向前推30秒判断;向前推1分钟判断。。。但是如果30秒判定会有故障,那么1分钟也应该判定会有故障,余此类推,这么来看,就没有必要把时间序列截成6段。这就是该方法最大的问题。

RNN方法二

上述方法问题的根源在于标注不对,即不确定到底应该是多长的时间序列应该标注为故障。比如有的故障对应了前面30秒,有的故障对应了前面50秒,有的对应了前面80秒等等。最理想的方案是我们人工标注数据集,比如我们获得了2千个故障,那么人工标注每个故障发生前多久的时间序列为故障序列。这样的序列可能每个长度都不一样,假设有两千种长度,然后统一塞到RNN模型做训练。

判定的时候,需要根据长度种类,从当前时刻拿出对应的长度来判定,那么需要拿出多少种长度呢?需要拿出2000种长度吗?答案是不需要的。这就是RNN的强大之处,只要给定一个instance的历史序列(可以类比一篇文章),那么在任何一个位置,给定一个片段,RNN是能够记住(反应)之前序列信息的。比如abcde->1,那么给定de,RNN输出为1,不需要给定全部序列,因为de已经带了abc的信息。但是如果有另一条序列,xyzde->0,那么给定de,RNN有50%概率给10,因为de可以表示为abcde,也可以是xyzde。因此,输入还是越多越好。

那么上面的故障预测问题到底怎么设计比较合适呢?这就和我们的目标相关。目标是给定当前时刻,向前推一段时间的序列(也可以是几段序列),即当前时刻,给定n个window,判定接下来m个时间后/内(或者给定时间段)会发生故障。

按照上面的目标,我们可以先定义预测window,即接下来多久会发生故障,比如1分钟以内。那么标注数据需要是在故障发生点1分钟前的序列。如果训练数据是多条变长的序列,那么在做inference的时候会变得很困难,因为不知道要取多久的序列好。因此最好我们做成定长的序列,包括训练和推断。例如,我们的目标是预测1分钟之内会发生故障,通过人工观察到2千条序列,在故障之前的异常序列有10分钟到3分钟不等。那么我们要尝试不同的序列窗口,例如尝试3分钟,4分钟,5分钟,一直到15分钟,看哪个效果好用哪个。

具体过程如下:比如尝试5分钟的序列,对于故障1:

  1. 定位故障起始时间为12:00:00
  2. 因为预测1分钟之内发生故障,因此11:59:00为序列结束时间向前推5分钟(11:54:00)的序列标注为1,该序列称之为序列0
  3. 如果以秒为单位,那么取剩下的59秒形成59个序列,标注为1:

序列1:[11:55:01, 11:59:01]->1
序列2:[11:55:02, 11:59:02]->1
序列3:[11:55:03, 11:59:03]->1
序列4:[11:55:04, 11:59:04]->1
序列5:[11:55:05, 11:59:05]->1
序列6:[11:55:06, 11:59:06]->1
序列7:[11:55:07, 11:59:07]->1
序列8:[11:55:08, 11:59:08]->1
序列9:[11:55:09, 11:59:09]->1
……
序列59:[11:55:59, 11:59:59]->1

对于故障2,故障3也做类似的标注,相当于一个故障有60比data,2000个故障有12万笔data,进行训练得到model。

inference时的时间窗口也是取5分钟,即当前时刻要预测接下来(1分钟之内)是否会发生异常,需要从当前时刻向前取5分钟的序列,输入到model得到结果。

上面的过程是尝试序列窗口为5分钟的,我们要尝试多种序列窗口,并且一定要覆盖夸异常区间的。比如人工标注了2000个故障,发现1000个故障前的异常数据序列有3分钟,另外一千个故障前面的异常序列有5分钟,那么序列窗口一定要尝试6分钟,7分钟等,即跨5分钟的序列。

    原文作者:Michael
    原文地址: https://segmentfault.com/a/1190000019063553
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞