xgboost4j-spark evaluate需要RDD[（Double，Double）]

Question

我尝试将xgboost4j与spark 2.0.1和Dataset API结合使用。到目前为止，我通过使用<代码>模型获得了以下格式的预测。转换（测试数据）

predictions.printSchema
root
 |-- label: double (nullable = true)
 |-- features: vector (nullable = true)
 |-- probabilities: vector (nullable = true)
 |-- prediction: double (nullable = true)


+-----+--------------------+--------------------+----------+
|label|            features|       probabilities|prediction|
+-----+--------------------+--------------------+----------+
|  0.0|[0.0,1.0,0.0,476....|[0.96766251325607...|       0.0|
|  0.0|[0.0,1.0,0.0,642....|[0.99599152803421...|       0.0|

但是现在我想生成评估指标。如何将预测映射到正确的格式？DMLC在Spark-1.6.1上的XGBost-4j提出了一个类似的问题，但我无法让它为我工作。

val metrics = new BinaryClassificationMetrics(predictions.select("prediction", "label").rdd)
would require RDD[(Double, Double)] 

而不是预测。选择（“预测”，“标签”），如下所示

root
 |-- label: double (nullable = true)
 |-- prediction: double (nullable = true)

尝试将其映射到所需的元组，例如：

predictions.select("prediction", "label").map{case Row(_) => (_,_)}

也无法正常工作。

在sparks文档中阅读更多内容http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.evaluation.BinaryClassificationEvaluator它支持ml而不是ml库，例如数据集。到目前为止，我无法成功地将xgboost4j集成到管道中。

Answer 1

这里有一个很好的例子https://github.com/dmlc/xgboost/blob/master/jvm-packages/xgboost4j-example/src/main/scala/ml/dmlc/xgboost4j/scala/example/spark/SparkModelTuningTool.scala如何在spark管道中使用xgboost4j。事实上，他们有一个XGBoostEstimator，它在管道中发挥了很好的作用。