使用Keras理解多元时间序列分类

Question

我试图理解如何正确地将数据输入到我的keras模型中，以便使用LSTM神经网络将多变量时间序列数据分为三类。

我已经看了不同的资源——主要是杰森·布朗利的这三篇优秀的博客文章，其他的SO问题和不同的论文，但是没有一个信息完全符合我的问题案例，我也不知道我的问题是否数据预处理/将其输入模型是正确的，所以我想如果我在这里指定我的确切条件，我可能会得到一些帮助。

我试图对多元时间序列数据进行分类，其原始形式的结构如下：

>

我有200个样品

一个示例是一个csv文件。

一个示例可以有1到50个功能（即csv文件有1到50列）。

每个功能都在固定的时间步长内“跟踪”其值，比如说100（即每个csv文件正好有100行）。

每个csv文件有三个类（“好”、“太小”、“太大”）中的一个

因此，我目前的状态如下所示：

我有一个numpy数组“samples”，其结构如下：

# array holding all samples
[
    # sample 1        
    [
        # feature 1 of sample 1 
        [ 0.1, 0.2, 0.3, 0.2, 0.3, 0.1, 0.2, 0.4, 0.5, 0.1, ... ], # "time series" of feature 1
        # feature 2 of sample 1 
        [ 0.5, 0.6, 0.7, 0.6, 0.4, 0.3, 0.2, 0.1, -0.1, -0.2, ... ], # "time series" of feature 2
        ... # up to 50 features
    ],
    # sample 2        
    [
        # feature 1 of sample 2 
        [ 0.1, 0.2, 0.3, 0.2, 0.3, 0.1, 0.2, 0.4, 0.5, 0.1, ... ], # "time series" of feature 1
        # feature 2 of sample 2 
        [ 0.5, 0.6, 0.7, 0.6, 0.4, 0.3, 0.2, 0.1, -0.1, -0.2, ... ], # "time series" of feature 2
        ...  # up to 50 features
    ],
    ... # up to sample no. 200
]

我也有一个Numpy数组标签与相同长度的样本数组（即。200）。标签的编码方式如下：

• “好”=0
• “太小”=1
• “太大”=2

[0, 2, 2, 1, 0, 1, 2, 0, 0, 0, 1, 2, ... ] # up to label no. 200

然后使用keras'to_category函数对该“标签”数组进行编码

to_categorical(labels, len(np.unique(labels)))

我的模型定义目前看起来是这样的：

max_nb_features = 50
nb_time_steps = 100

model = Sequential()
model.add(LSTM(5, input_shape=(max_nb_features, nb_time_steps)))
model.add(Dense(3, activation='softmax'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

• LSTM层中的5个单元目前只是随机选取的
• 我的三节课在致密层有3个输出神经元

然后，我将数据拆分为培训/测试数据：

samples_train, samples_test, labels_train, labels_test = train_test_split(samples, labels, test_size=0.33)

这样我们就有134个样本用于培训，66个样本用于测试。

我目前遇到的问题是，以下代码不起作用：

model.fit(samples_train, labels_train, epochs=1, batch_size=1)

错误如下：

Traceback (most recent call last):
  File "lstm_test.py", line 152, in <module>
    model.fit(samples_train, labels_train, epochs=1, batch_size=1)
  File "C:\Program Files\Python36\lib\site-packages\keras\models.py", line 1002, in fit
    validation_steps=validation_steps)
  File "C:\Program Files\Python36\lib\site-packages\keras\engine\training.py", line 1630, in fit
    batch_size=batch_size)
  File "C:\Program Files\Python36\lib\site-packages\keras\engine\training.py", line 1476, in _standardize_user_data
    exception_prefix='input')
  File "C:\Program Files\Python36\lib\site-packages\keras\engine\training.py", line 113, in _standardize_input_data
    'with shape ' + str(data_shape))

ValueError: Error when checking input: expected lstm_1_input to have 3 dimensions, but got array with shape (134, 1)

对我来说，它似乎不起作用，因为我的样本可能具有可变数量的特性。如果我使用“假”（生成的）数据，其中所有参数都是相同的，除了每个样本具有完全相同数量的特征（50），那么代码可以工作。

现在我试图理解的是：

1. 我对如何为LSTM输入构建数据的一般假设是否正确？参数（batch\u size，input\u shape）是否正确/合理？
2. keras LSTM模型是否通常能够处理具有不同数量特征的样本？
3. 如果是，我必须如何调整我的代码以使其能够使用不同数量的功能？
4. 如果否，“零填充”（填充）样本中少于50个特征的列是否有效？有没有其他更喜欢的方法来实现我的目标

Answer 1

LSTM模型需要[样本、时间步长、特征]形式的3D输入

在定义LSTM模型的第一层时，我们只需要指定时间步骤和特征。尽管这可能看起来是2D的，但实际上是3D的，因为样品大小（即批量大小）是在模型拟合时指定的。

features = x_train_d.shape[1]

因此，我们首先需要以3D格式重塑输入：

x_train_d = np.reshape(x_train_d, (x_train_d.shape[0], 1, x_train_d.shape[1]))

下面是LSTM第一层：

model.add(LSTM(5,input_shape=(1, features),activation='relu'))

模型拟合指定样本数为LSTM预期的50

model.fit(x_train_d,y_train_d.values,batch_size=50,epochs=100)

对于使用可变长度输入提出的问题，在https://datascience.stackexchange.com/questions/26366/training-an-rnn-with-examples-of-different-lengths-in-keras

Answer 2

我认为KERA的输入形状应为：

输入形状=（样本数、时间步数、最大特征数）。

通常，nb_时间_步数=1

附言：我试图解决一个非常相似的实习职位问题（但我的结果是错误的）。你可以看看这里：https://github.com/AbbasHub/Deep_Learning_LSTM/blob/master/2018-09-22_Multivariate_LSTM.ipynb（看看你是否能发现我的错误！）