从\u数组中重塑使用timeseries\u dataset\u预处理的Tensorflow数据集

Question

注意：我已经阅读了如何重塑BatchDataset类张量？但是解决方案在这里不适用。

正如在训练一个神经网络时所提到的，输入是带有Tensorflow/Keras的矩阵的滑动窗口，记忆问题，我需要从一个形状矩阵（10000，2000）训练一个具有所有形状滑动窗口（16，2000）的神经网络。（在我的另一篇文章中是100k，但这里10k还可以）。

import tensorflow
import numpy as np
X = np.array(range(20000000)).reshape(10000, 2000)  
X = tensorflow.keras.preprocessing.timeseries_dataset_from_array(X, None, 16, sequence_stride=1, sampling_rate=1, batch_size=32)
for b in X:
    print(b)  # Tensor of shape (32, 16, 2000)
    break

问题是，我需要把它输入一个需要（...，16, 2000, 1)形状的模型。

model = Sequential()
model.add(Conv2D(16, kernel_size=(9, 9), activation='relu', input_shape=(16, 2000, 1), padding='same'))
...
model.fit(X, Y, epochs=8)

我试过了

X = tensorflow.reshape(X, (-1, 16, 2000, 1))

没有成功。

如何做到这一点，即有输出的timeseries_dataset_from_array的形状（...，16, 2000, 1)？

Answer 1

要对tf.data.Dataset的每个元素应用转换，您应该使用tf.data.Dataset.map函数。在您的情况下，您可以使用tf使用lambda定义函数。expand_dims：

ds = tensorflow.keras.preprocessing.timeseries_dataset_from_array(X, None, 16, sequence_stride=1, sampling_rate=1, batch_size=32)
ds_correct_shape = ds.map(lambda x: tf.expand_dims(x,axis=-1))

如果我们检查第一个元素的形状：

>>> for elem in ds_correct_shape.take(1):
        print(f"{elem.shape=}")
elem.shape=TensorShape([32, 16, 2000, 1])