准确度分数值错误:无法处理二进制和连续目标的混合

Question

我正在使用linear_model。来自scikit的线性回归学习作为预测模型。它很有效，也很完美。我无法使用accuracy_score度量来评估预测结果。

这是我的真实数据:

array([1, 1, 0, 0, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0])

我的预测数据：

array([ 0.07094605,  0.1994941 ,  0.19270157,  0.13379635,  0.04654469,
    0.09212494,  0.19952108,  0.12884365,  0.15685076, -0.01274453,
    0.32167554,  0.32167554, -0.10023553,  0.09819648, -0.06755516,
    0.25390082,  0.17248324])

我的代码：

accuracy_score(y_true, y_pred, normalize=False)

错误消息：

ValueError: Can't handle mix of binary and continuous target

Answer 1

问题在于，真正的 y 是二进制的（零和一），而你的预测不是。您可能生成了概率而不是预测，因此结果:)相反，尝试生成类成员资格，它应该可以工作！

Answer 2

accuracy_score是分类度量，不能用于回归问题。

您可以在文档中查看可用的回归指标。

Answer 3

尽管这里有太多的错误答案试图通过数值操作预测来规避错误，但错误的根本原因是一个理论问题，而不是计算问题：您试图在回归（即数值预测）模型（LinearRegression）中使用分类指标（准确性），这是毫无意义的。

就像大多数性能指标一样，准确度会逐个进行比较（即真正的标签为0/1，预测值再次为0/1）；因此，当您要求函数将二进制真标签（apples）与连续预测（oranges）进行比较时，您会得到一个预期的错误，其中的消息从计算的角度准确地告诉您问题是什么：

Classification metrics can't handle a mix of binary and continuous target

尽管该消息没有直接告诉您您正在尝试计算对您的问题无效的指标（我们实际上不应该期望它走那么远），但scikit-learn至少会给您一个直接而明确的警告，即您正在尝试错误的事情，这当然是一件好事;其他框架不一定是这种情况 - 例如，参见Keras在非常相似的情况下的行为，你根本没有得到任何警告，人们最终只是抱怨回归设置中的“准确性”低...

我对这里的所有其他答案（包括接受的答案）感到非常惊讶

所以，总结一下：问题是您正在应用一个不适合您的模型的指标（准确性）（LinearRegression）：如果您处于分类设置中，您应该更改您的模型（例如，使用逻辑回归代替）；如果您处于回归（即数字预测）设置中，您应该更改指标。查看scikit-Learning中可用的指标列表，您可以在其中确认准确性仅用于分类。

还将这种情况与最近的SO问题进行比较，其中OP试图获得模型列表的准确性：

models = []
models.append(('SVM', svm.SVC()))
models.append(('LR', LogisticRegression()))
models.append(('LDA', LinearDiscriminantAnalysis()))
models.append(('KNN', KNeighborsClassifier()))
models.append(('CART', DecisionTreeClassifier()))
models.append(('NB', GaussianNB()))
#models.append(('SGDRegressor', linear_model.SGDRegressor())) #ValueError: Classification metrics can't handle a mix of binary and continuous targets
#models.append(('BayesianRidge', linear_model.BayesianRidge())) #ValueError: Classification metrics can't handle a mix of binary and continuous targets
#models.append(('LassoLars', linear_model.LassoLars())) #ValueError: Classification metrics can't handle a mix of binary and continuous targets
#models.append(('ARDRegression', linear_model.ARDRegression())) #ValueError: Classification metrics can't handle a mix of binary and continuous targets
#models.append(('PassiveAggressiveRegressor', linear_model.PassiveAggressiveRegressor())) #ValueError: Classification metrics can't handle a mix of binary and continuous targets
#models.append(('TheilSenRegressor', linear_model.TheilSenRegressor())) #ValueError: Classification metrics can't handle a mix of binary and continuous targets
#models.append(('LinearRegression', linear_model.LinearRegression())) #ValueError: Classification metrics can't handle a mix of binary and continuous targets

其中前6个模型工作正常，而所有其他（注释掉）模型给出相同的错误。到现在为止，您应该能够说服自己，所有注释掉的模型都是回归（而不是分类）模型，因此是合理的错误。

最后一个重要的提示：有人声称：

好的，但我想使用线性回归，然后只对输出进行舍入/阈值，有效地将预测视为“概率”，从而将模型转换为分类器

实际上，这一点已经在其他几个回答中暗示过了，不管是含蓄的还是不含蓄的；同样，这是一个无效的方法(事实上，你有负面的预测应该已经提醒你，它们不能被解释为概率)。吴恩达在他在Coursera上的热门机器学习课程中解释了为什么这是一个坏主意——参见他在Youtube上的讲座6.1 -逻辑回归|分类(解释从大约3:00开始)，以及4.2节为什么不是线性回归[用于分类]？由Hastie，Tibshirani和他的同事编写的《统计学习入门》(强烈推荐，免费提供)...