寻找Keras中致密层的掩蔽支撑

Question

我做了一个小的概念验证，以了解Keras中的致密层是否支持掩蔽。下面是我的代码：-

import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense,Masking,Flatten
import numpy as np

input_shape = (125,)
model = Sequential()
model.add(Masking(mask_value=-1,input_shape=input_shape))
model.add(Dense(16, activation='relu', kernel_initializer='he_uniform'))
model.add(Dense(8, activation='relu', kernel_initializer='he_uniform'))
model.add(Flatten())
model.add(Dense(1, activation='linear'))
model.compile(loss='mean_absolute_error', optimizer='adam', metrics=['mean_absolute_error'])
history = model.fit(x_train, y_train, epochs=5, batch_size=1, verbose=1)

我的数据集仅包含2个样本，每个样本具有125个特征，如下所示：-

[[  1.   2.   3.   4.   5.   6.   7.   8.   9.  10.  11.  12.  13.  14.
   15.  16.  17.  18.  19.  20.  21.  22.  23.  24.  25.  26.  27.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.]
 [ 82.  83.  84.  85.  86.  87.  88.  89.  90.  91.  92.  93.  94.  95.
   96.  97.  98.  99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109.
  110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123.
  124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137.
  138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151.
  152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.
   -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.  -1.]]

使用掩码层，我希望密集层在训练网络时忽略所有“-1”值。因此我编写了model.add（掩码（mask_value=-1，input_shape=input_shape））。

我还访问了Keras Github代码(https://github.com/keras-team/keras/blob/master/keras/layers/core.py)对于致密层，发现致密层类具有<代码>自身。支持\u masking=True，但我不确定它是否会将掩码传播到网络中的其他层。

因此，我的问题如下：

1. 如果我使用掩蔽层并掩蔽这些虚拟（填充的）-1”值，我的网络会在训练期间忽略这些“-1”值吗
2. 密集层是否会将其掩码传播到网络中的其他层，以便网络在训练期间不会在这些虚拟值上训练
3. 由于我的实现中的稠密层不抛出稠密层，因此稠密层18不支持掩蔽错误，这是否意味着它支持掩蔽

任何帮助都将不胜感激。谢谢...

Answer 1

不确定您是否收到过答案，但如果您没有收到，您可以查看以下内容：掩蔽指南

我只是想看看密集支撑是否也能掩盖。以下是链接指南中的相关引用：

如果有一个不修改时间维度的自定义层，并且希望它能够传播当前输入掩码，则应设置self。在层构造函数中支持\u masking=True。在这种情况下，compute\u mask（）的默认行为是只传递当前掩码。

这对我来说，表示稠密将传播面具。