为什么binary_crossentropy和categorical_crossentropy对同一个问题给出不同的表现？

Question

我正在尝试训练CNN按主题对文本进行分类。当我使用二进制交叉熵时，我可以获得大约80%的准确率，而使用分类交叉熵，我可以获得大约50%的准确率。

我不明白为什么会这样。这是一个多类的问题，难道这不意味着我必须使用分类交叉熵，而二元交叉熵的结果是没有意义的吗？

model.add(embedding_layer)
model.add(Dropout(0.25))
# convolution layers
model.add(Conv1D(nb_filter=32,
                    filter_length=4,
                    border_mode='valid',
                    activation='relu'))
model.add(MaxPooling1D(pool_length=2))
# dense layers
model.add(Flatten())
model.add(Dense(256))
model.add(Dropout(0.25))
model.add(Activation('relu'))
# output layer
model.add(Dense(len(class_id_index)))
model.add(Activation('softmax'))

然后，我使用分类交叉熵作为损失函数来编译它：

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

或

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

直觉上，我想使用分类交叉熵是有道理的，我不明白为什么我用二进制得到的结果好，而用分类得到的结果差。

Answer 1

我遇到了一个“颠倒”的问题-我在分类交叉熵（2个类）方面得到了很好的结果，而在二进制交叉熵方面却很差。似乎问题出在错误的激活功能上。正确的设置为：

• 对于binary\u crossentropy:sigmoid激活，标量目标

Answer 2

这完全取决于您处理的分类问题的类型。主要有三类

• 二进制分类（两个目标类），
• 多类别分类（两个以上的独占目标），
• 多标签分类（两个以上的非独占目标），其中可以同时启用多个目标类

在第一种情况下，应使用二进制交叉熵，并将目标编码为一个热向量。

在第二种情况下，应使用分类交叉熵，目标应编码为one-Hot向量。

在最后一种情况下，应使用二进制交叉熵，并将目标编码为一个热向量。每个输出神经元（或单元）被视为一个单独的随机二进制变量，整个输出向量的损失是单个二进制变量损失的乘积。因此，它是每个单个输出单元的二进制交叉熵的乘积。

二元交叉熵定义为

分类交叉熵定义为

其中c是运行在类C数量上的索引。

Answer 3

分类之间明显的性能差异的原因

当使用具有两个以上标签的二进制交叉熵时，使用Keras方法计算的精度显然是错误的

我想对此进行更多的阐述，展示实际的根本问题，解释它，并提供补救措施。

这种行为不是bug；根本原因是一个相当微妙的

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

有效，您的第二个：

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

不会产生您期望的结果，但原因不是使用二进制交叉熵（至少在原则上，这是一个绝对有效的损失函数）。

为什么会这样？如果检查度量源代码，Keras不会定义单个精度度量，而是定义几个不同的度量，其中包括二进制精度和分类精度。在幕后发生的事情是，由于您选择了二进制交叉熵作为损失函数，并且没有指定特定的精度度量，Keras（错误地…）推断您对二进制精度感兴趣，这就是它返回的结果，而实际上您对分类精度感兴趣。

让我们使用Keras中的MNIST CNN示例，并进行以下修改，来验证这种情况：

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])  # WRONG way

model.fit(x_train, y_train,
          batch_size=batch_size,
          epochs=2,  # only 2 epochs, for demonstration purposes
          verbose=1,
          validation_data=(x_test, y_test))

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.9975801164627075

# Actual accuracy calculated manually:
import numpy as np
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98780000000000001

score[1]==acc
# False    

为了解决这一问题，即使用二进制交叉熵作为损失函数（如我所说，至少在原则上，这没有错），同时仍能获得当前问题所需的分类精度，您应该在模型编译中明确要求分类精度，如下所示：

from keras.metrics import categorical_accuracy
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=[categorical_accuracy])

在MNIST示例中，在如上所示的培训、评分和预测测试集之后，这两个指标现在是相同的，它们应该是一样的：

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.98580000000000001

# Actual accuracy calculated manually:
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98580000000000001

score[1]==acc
# True    

系统设置：

Python version 3.5.3
Tensorflow version 1.2.1
Keras version 2.0.4

更新：在我的帖子之后，我发现这个问题已经在这个答案中被发现了。