基于SkLearning的多类多标签混淆矩阵

Question

我正在使用分类器的多类多标签输出。类的总数为14，实例可以关联多个类。例如：

y_true = np.array([[0,0,1], [1,1,0],[0,1,0])
y_pred = np.array([[0,0,1], [1,0,1],[1,0,0])

我现在制作混淆矩阵的方式：

matrix = confusion_matrix(y_true.argmax(axis=1), y_pred.argmax(axis=1))
print(matrix)

输出如下：

[[ 79   0   0   0  66   0   0 151   1   8   0   0   0   0]
 [  4   0   0   0  11   0   0  27   0   0   0   0   0   0]
 [ 14   0   0   0  21   0   0  47   0   1   0   0   0   0]
 [  1   0   0   0   4   0   0  25   0   0   0   0   0   0]
 [ 18   0   0   0  50   0   0  63   0   3   0   0   0   0]
 [  4   0   0   0   3   0   0  19   0   0   0   0   0   0]
 [  2   0   0   0   3   0   0  11   0   2   0   0   0   0]
 [ 22   0   0   0  20   0   0 138   1   5   0   0   0   0]
 [ 12   0   0   0   9   0   0  38   0   1   0   0   0   0]
 [ 10   0   0   0   3   0   0  40   0   4   0   0   0   0]
 [  3   0   0   0   3   0   0  14   0   3   0   0   0   0]
 [  0   0   0   0   2   0   0   3   0   0   0   0   0   0]
 [  2   0   0   0  11   0   0  32   0   0   0   0   0   0]
 [  0   0   0   0   0   0   0   3   0   0   0   0   0   7]]

现在，我不确定sklearn的混淆矩阵是否能够处理多标签多类数据。谁能帮我一下吗？

Answer 1

有一种创建二维（n 1 x n 1）矩阵形状的多标签混淆矩阵（MLCM）的方法。要安装“mlcm”并查看如何使用它的示例，请转到：https://pypi.org/project/mlcm/MLCM方法创建了一个混淆矩阵，该矩阵类似于多类（单标签）混淆矩阵，显示了一个类的FN在其他类上的分布。多标签数据的每个实例的真实标签数量从零到n不等（即类的数量），多标签数据的每个实例的预测标签数量从零到n不等。为了克服这个问题（没有真实标签和/或没有预测标签），mlcm方法向混淆矩阵添加一行和一列，因此它有n 1行和n 1列。行（和列）0到n-1分别对应于类0到n-1。最后一行对应于输入实例没有真正标签的情况。最后一列对应于分类器不预测给定数据实例的任何类的情况
请阅读以下文章了解更多信息：M.Heydarian、T.Doyle和R.Samavi，MLCM：多标签混淆矩阵，IEEE Access，2022年2月，DOI:10.1109/Access。2022.3151048

Answer 2

现在您可以使用（版本0.21）sklearn。韵律学。多标签\u混淆\u矩阵

https://scikit-learn.org/stable/modules/generated/sklearn.metrics.multilabel_confusion_matrix.html

我们尝试为每个示例预测两个标签

import sklearn.metrics as skm
y_true = np.array([
                [0,0], [0,1], [1,1], [0,1], [0,1], [1,1]
              ])
 y_pred = np.array([
                [1,1], [0,1], [0,1], [1,0], [0,1], [1,1] 
              ])

 cm = skm.multilabel_confusion_matrix(y_true, y_pred)
 print(cm)
 print( skm.classification_report(y_true,y_pred))

标签的混淆矩阵：

[[[2 2]
  [1 1]]

 [[0 1]
  [1 4]]]

分类报告：

              precision    recall  f1-score   support

         0       0.33      0.50      0.40         2
         1       0.80      0.80      0.80         5

micro avg        0.62      0.71      0.67         7
macro avg        0.57      0.65      0.60         7
weighted avg     0.67      0.71      0.69         7
samples avg      0.67      0.58      0.61         7

Answer 3

您需要做的是生成多个二进制混淆矩阵（因为实际上您有多个二进制标签）

某物大致如下：

import numpy as np
from sklearn.metrics import confusion_matrix

y_true = np.array([[0,0,1], [1,1,0],[0,1,0]])
y_pred = np.array([[0,0,1], [1,0,1],[1,0,0]])

labels = ["A", "B", "C"]

conf_mat_dict={}

for label_col in range(len(labels)):
    y_true_label = y_true[:, label_col]
    y_pred_label = y_pred[:, label_col]
    conf_mat_dict[labels[label_col]] = confusion_matrix(y_pred=y_pred_label, y_true=y_true_label)


for label, matrix in conf_mat_dict.items():
    print("Confusion matrix for label {}:".format(label))
    print(matrix)