朴素贝叶斯模型的二元分类度量评估中如何给出预测列和标签列

Question

我对< code > binary classification metrics (ml lib)输入感到困惑。根据Apache Spark 1.6.0，我们需要从已预测概率(向量)的转换数据帧中传递< code>(RDD[(Double，Double)])类型的predicted和label

我已经从预测列和标签列创建了RDD[(Double，Double)]。在NavieBayesModel上执行< code > binaryclicationmetrics 评估后，我能够检索ROC、PR等。但是值是有限的，我不能用这个产生的值画出曲线。Roc包含4个值，PR包含3个值。

这是准备预测和标签的正确方法，还是我需要使用原始预测列或概率列而不是预测列？

Answer 1

像这样准备：

import org.apache.spark.mllib.linalg.Vector
import org.apache.spark.mllib.classification.{NaiveBayes, NaiveBayesModel}

val df = sqlContext.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")
val predictions = new NaiveBayes().fit(df).transform(df)

val preds = predictions.select("probability", "label").rdd.map(row => 
  (row.getAs[Vector](0)(0), row.getAs[Double](1)))

并评估：

import org.apache.spark.mllib.evaluation.BinaryClassificationMetrics

new BinaryClassificationMetrics(preds, 10).roc

如果预测只有0或1，桶的数量可以更低，就像你的情况一样。尝试更复杂的数据，如下所示:

val anotherPreds = df1.select(rand(), $"label").rdd.map(row => (row.getDouble(0), row.getDouble(1)))
new BinaryClassificationMetrics(anotherPreds, 10).roc