将使用可训练参数在层中定义的损失纳入最终损失以进行优化

Question

嗨，我正在尝试创建一个VariationalDenseLayer，其中KL损失在调用函数中计算。

def call(self, inputs, **kwargs):
    kernel_sigma = tf.math.softplus(self.kernel_rho)
    kernel = self.kernel_mu + kernel_sigma * tf.random.normal(self.kernel_mu.shape)

    bias_sigma = tf.math.softplus(self.bias_rho)
    bias = self.bias_mu + bias_sigma * tf.random.normal(self.bias_mu.shape)

    self.add_loss(self.kl_loss(kernel, self.kernel_mu, kernel_sigma) +
                  self.kl_loss(bias, self.bias_mu, bias_sigma))

    outputs = gen_math_ops.MatMul(a = inputs, b = kernel)

    if self.use_bias:
        outputs = nn_ops.bias_add(outputs, bias)

    if self.activation is not None:
        outputs = self.activation(outputs)

    return outputs


def kl_loss(self, w, mu, sigma):
    variational_dist = tfp.distributions.Normal(mu, sigma)
    return self.kl_weight * K.sum(variational_dist.log_prob(w) - self.log_prior_prob(w))

def log_prior_prob(self, w):
    comp_1_dist = tfp.distributions.Normal(0.0, self.prior_sigma_1)
    comp_2_dist = tfp.distributions.Normal(0.0, self.prior_sigma_2)
    return K.log(self.prior_pi_1 * comp_1_dist.prob(w) +
                 self.prior_pi_2 * comp_2_dist.prob(w))
    

然而，当我试图将我的最终损失定义为neg_log_likelihhoodkl_loss时，我得到了以下错误：

TypeError：函数构建代码之外的op被传递一个“图形”张量。通过包含tf，可以使图张量从函数构建上下文中泄漏出来。函数构建代码中的init_范围。例如，以下函数将失败：@tf。函数def具有_init_scope（）：my_常量=tf。常数（1）用tf。init_scope（）：added=my_常量*2图张量的名称为：稠密翻转/发散内核：0

如果我加上

tf.compat.v1.disable_eager_execution()

我有以下错误。然而，我仍然不清楚我做错了什么。

损失=neg_log_likelihoodkl*kl_weightFile"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-包/tensorflow/python/ops/math_ops.py"，行1266，r_binary_op_wrappery，x=maybe_promote_tensors（y， x）File"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-pack/tenstorflow/python/ops/math_ops.py"，第1202行，maybe_promote_tensorsops.convert_to_tensor（张量，dtype，name="x"））File"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-包/tenstorflow/python/探查器/trace.py"，行163，在包装返回func（*args，**kwargs）文件"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-包/tensorflow/python/框架/ops.py"，第1566行，在convert_to_tensorret=conversion_func（值，dtype=dtype，name=name，as_ref=as_ref）File"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-packages/tensorflow/python/framework/constant_op.py"，第339行，在_constant_tensor_conversion_function返回常量（v，dtype=dtype，name=name）File"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-pack/tenorflow/python/框架/constant_op.py"，第264行，常量返回_constant_impl（值，dtype，形状，名称，verify_shape=False，File"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-包/Tenorflow/python/框架/constant_op.py"，第281行，_constant_impltensor_util.make（File"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-包/tensorflow/python/框架/tensor_util.py"，第457行，make_tensor_proto_AssertCompatible（值，dtype）File"/d/dev01/chungh/lib2/anaconda3-2020.11/lib/python3.8/site-包/tensorflow/python/框架/tensor_util.py"，行336，在_AssertCompatible引发TypeError（"期望%s，得到%s的类型'%s'代替。"%TypeError：预期浮动32，得到

计算最终损失的代码是：

def neg_log_likelihood(y_obs, y_pred, sigma=noise):
    dist = tfp.distributions.Normal(loc=y_pred, scale=sigma)
    return K.sum(-dist.log_prob(y_obs))

kl = sum(model.losses)
loss = kl * kl_weight

model.compile(loss=loss, optimizer=optimizers.Adam(lr=0.08), metrics=['mse'])

非常感谢您的帮助和指点！

Answer 1

我假设您已经检查了Tensorflow中的变分层实现。

您可以参考这个使用FlipOut层的示例实现。