Keras自定义损失函数数据类型错误

Question

我有一个NN，它有两个相同的CNN（类似于暹罗网络），然后合并输出，并打算在合并的输出上应用自定义损失函数，如下所示：

     -----------------        -----------------
     |    input_a    |        |    input_b    |
     -----------------        -----------------
     | base_network  |        | base_network  |
     ------------------------------------------
     |           processed_a_b                |
     ------------------------------------------

在我的自定义损失函数中，我需要将y垂直分解为两块，然后对每一块应用分类交叉熵损失。但是，我不断从我的损失函数得到dtype错误，例如：

（）中的ValueError回溯（最近一次调用）----

/usr/local/lib/python3。5/地区包/KERA/发动机/培训。编译中的py（自我、优化器、损耗、度量、损耗权重、样本权重模式，**kwargs）909损耗权重=损耗权重列表[i]910输出损耗=加权损耗（y真，y pred--

/usr/local/lib/python3。5/地区包/KERA/发动机/培训。加权中的py（y_真、y_pred、权重、掩码）451#如果权重不是无，则应用样本权重452：--

/usr/local/lib/python3。5/dist包/tensorflow/python/ops/math_ops。二进制运算包装中的py（x，y）827如果不存在（y，稀疏张量.稀疏传感器）：828尝试：--

/usr/local/lib/python3。5/dist包/tensorflow/python/framework/ops。py in convert_to_tensor（value，dtype，name，preferred_dtype）674 name=name，675 preferred_dtype=preferred_dtype--

/usr/local/lib/python3。5/dist包/tensorflow/python/framework/ops。如果ret为None，则将内部类型中的py转换为张量（值、数据类型、名称、as ref、首选类型）739 740：--

/usr/local/lib/python3.5/dist-packages/tensorflow/python/framework/ops.py_TensorTensorConversionFunction（t，dtype，名称，as_ref）612提升值错误（613"张量转换请求dtype%s为张量与dtype%s：%r"-

张量转换请求dtype Float64为张量与dtype Float32：'张量（processed_a_b_sample_weights_1： 0，形状=(?,), dtype=Float32）'

下面是一个MWE来重现错误：

import tensorflow as tf
from keras import backend as K
from keras.layers import Input, Dense, merge, Dropout
from keras.models import Model, Sequential
from keras.optimizers import RMSprop
import numpy as np

# define the inputs
input_dim = 10
input_a = Input(shape=(input_dim,), name='input_a')
input_b = Input(shape=(input_dim,), name='input_b')
# define base_network
n_class = 4
base_network = Sequential(name='base_network')
base_network.add(Dense(8, input_shape=(input_dim,), activation='relu'))
base_network.add(Dropout(0.1))
base_network.add(Dense(n_class, activation='relu'))
processed_a = base_network(input_a)
processed_b = base_network(input_b)
# merge left and right sections
processed_a_b = merge([processed_a, processed_b], mode='concat', concat_axis=1, name='processed_a_b')
# create the model
model = Model(inputs=[input_a, input_b], outputs=processed_a_b)

# custom loss function
def categorical_crossentropy_loss(y_true, y_pred):
    # break (un-merge) y_true and y_pred into two pieces
    y_true_a, y_true_b = tf.split(value=y_true, num_or_size_splits=2, axis=1)
    y_pred_a, y_pred_b = tf.split(value=y_pred, num_or_size_splits=2, axis=1)
    loss = K.categorical_crossentropy(output=y_pred_a, target=y_true_a) + K.categorical_crossentropy(output=y_pred_b, target=y_true_b) 
    return K.mean(loss)

# compile the model
model.compile(loss=categorical_crossentropy_loss, optimizer=RMSprop())

Answer 1

如错误所示，您正在使用float32数据，它需要float64。有必要将错误追踪到它的特定直线，以确定要纠正的张量，并能够更好地帮助您。

然而，它似乎与K.mean（）方法有关，但是ValueErrors也可以由K.category\u crossentropy（）方法生成。因此，问题可能在于你的张量丢失，两者都是y_preds或两者都是y_trues。在这些情况下，我看到两件事你可以尝试解决问题：

>

您可以将张量（s）（让我们假设它是los）转换为所需的（Float64）类型，如下所示：

from keras import backend as K
new_tensor = K.cast(loss, dtype='float64')

通过将参数dtype传递给Input（）调用（如这些示例中所建议的），可以在开始时将输入声明为float64类型，如下所示：

input_a = Input(shape=(input_dim,), name='input_a', dtype='float64')