TFP概率模型质疑

Question

在TFP教程中，模型输出为正态分布。我注意到输出可以替换为独立法线层。在我的模型中，y_true是二进制类。因此，我使用了IndependentBernoulli层，而不是Independent Normal层。

在构建模型之后，我发现它有两个输出参数。这对我来说没有意义，因为伯努利分布只有一个参数。你知道哪里出了问题吗？

# Define the prior weight distribution as Normal of mean=0 and stddev=1.
# Note that, in this example, the we prior distribution is not trainable,
# as we fix its parameters.
def prior(kernel_size, bias_size, dtype=None):
    n = kernel_size + bias_size
    prior_model = Sequential([
            tfpl.DistributionLambda(
                lambda t: tfd.MultivariateNormalDiag(loc=tf.zeros(n), scale_diag=tf.ones(n))
            )
        ])
    return prior_model

# Define variational posterior weight distribution as multivariate Gaussian.
# Note that the learnable parameters for this distribution are the means,
# variances, and covariances.
def posterior(kernel_size, bias_size, dtype=None):
    n = kernel_size + bias_size
    posterior_model = Sequential([
            tfpl.VariableLayer(tfpl.MultivariateNormalTriL.params_size(n), dtype=dtype),
            tfpl.MultivariateNormalTriL(n)
        ])
    return posterior_model

# Create a probabilistic DL model
model = Sequential([
       tfpl.DenseVariational(units=16,
                             input_shape=(6,),
                             make_prior_fn=prior,
                             make_posterior_fn=posterior,
                             kl_weight=1/X_train.shape[0],
                             activation='relu'),
       tfpl.DenseVariational(units=16,
                             make_prior_fn=prior,
                             make_posterior_fn=posterior,
                             kl_weight=1/X_train.shape[0],
                             activation='sigmoid'),
       tfpl.DenseVariational(units=tfpl.IndependentBernoulli.params_size(1),
                             make_prior_fn=prior,
                             make_posterior_fn=posterior,
                             kl_weight=1/X_train.shape[0]),
       tfpl.IndependentBernoulli(1, convert_to_tensor_fn=tfd.Bernoulli.logits)
])             
model.summary()

谷歌Colab上代码执行结果的屏幕截图

Answer 1

我同意摘要显示令人困惑，但我认为这是tfp层实现与keras交互的方式的伪影。在正常操作期间，只有一个来自分布Lambda图层的返回值。但在某些情况下（我不完全理解），分发Lambda.call可能会同时返回分布和边结果。我认为摘要管道出于某种原因触发了这一点，所以看起来有2个输出，但实际上只有一个。尝试在X_train上调用模型对象，你会看到你得到了一个分布（它的类型实际上是一个叫做TensorCoercible的东西，它是一个围绕一个分布的包装器，让你把它传递到调用tf.convert_to_tensor的tf ops中 - 该op的结果值将是调用你的convert_to_tensor_fn的结果）。

总之，您的分布层是好的，但总结是混乱的。它可能会被修复；我没有足够的知识来说明这有多难。

旁注：可以省略event_shape=1参数——默认值为（）或“scalar”，其行为相同。

HTH！