具有缺失值的多元LSTM

Question

我正在研究一个使用LSTM的时间序列预测问题。输入包含几个特性，因此我使用多元LSTM。问题是缺少一些值，例如：

    Feature 1     Feature 2  ...  Feature n
 1    2               4             nan
 2    5               8             10
 3    8               8              5
 4    nan             7              7
 5    6              nan            12

与插值缺失值不同，这可能会在结果中引入偏差，因为有时在同一特征上有许多连续的时间戳缺失值，我想知道是否有方法让LSTM使用缺失值进行学习，例如，使用遮罩层或类似的东西？有人能给我解释一下什么是处理这个问题的最佳方法吗？我正在使用Tensorflow和Keras。

Answer 1

正如François Chollet（Keras的创造者）在他的书中所建议的那样，处理缺失值的一种方法是将它们替换为零：

一般来说，使用神经网络，输入缺失值为0是安全的，条件是0不是有意义的值。网络将从暴露于数据中了解到，值0意味着丢失数据，并将开始忽略该值。请注意，如果您期望测试数据中的缺失值，但网络是在没有任何缺失值的数据上训练的，那么网络就不会学会忽略缺失值！在这种情况下，你应该人为地生成有缺失项的训练样本：将一些训练样本复制几次，并丢弃一些你期望在测试数据中很可能缺失的特征。

因此，考虑到数据中没有使用零，您可以将零分配给NaN元素（您可以将数据规范化到一个范围，例如[1,2]，然后将零分配给NaN元素；或者，您可以规范化范围[0,1]中的所有值，然后使用-1而不是零来替换NaN元素。（

另一种替代方法是在Keras中使用掩蔽层。你给它一个掩码值，比如说0，它会删除所有特性都等于掩码值的任何时间步（即行）。但是，以下所有层都应支持掩蔽，并且您还需要预处理数据，并将掩蔽值分配给包含一个或多个NaN功能的时间步的所有功能。来自Keras文件的示例：

考虑一个NUMPI数据数组<代码>代码> >代码> >（样本、时间步长、特征），将其输入到LSTM层。您想要屏蔽时间步3和5，因为您缺少这些时间步的数据。你可以：

>

设置x[：，3，：]=0。和x[：，5，：]=0。

在LSTM层之前插入一个值为0的遮罩层。：

model = Sequential()
model.add(Masking(mask_value=0., input_shape=(timesteps, features)))
model.add(LSTM(32))

更新（2021年5月）：根据弗朗索瓦·乔勒（François Cholle）的最新建议，最好使用更有意义或信息量更大的值（而不是零）来掩盖缺失的值。该值可以计算（例如，平均值、中值等）或根据数据本身进行预测。