如何获取每个列表的首行数据？

Question

我的数据帧像这样：

+------------------------+----------------------------------------+
|ID                      |probability                             |
+------------------------+----------------------------------------+
|583190715ccb64f503a|[0.49128147201958017,0.5087185279804199]|
|58326da75fc764ad200|[0.42143416087939345,0.5785658391206066]|
|583270ff17c76455610|[0.3949217100212508,0.6050782899787492] |
|583287c97ec7641b2d4|[0.4965059792664432,0.5034940207335569] |
|5832d7e279c764f52e4|[0.49128147201958017,0.5087185279804199]|
|5832e5023ec76406760|[0.4775830044196701,0.52241699558033]   |
|5832f88859cb64960ea|[0.4360509428173421,0.563949057182658]  |
|58332e6238c7643e6a7|[0.48730029128352853,0.5126997087164714]|

我得到了概率栏

val proVal = Data.select("probability").rdd.map(r => r(0)).collect()
proVal.foreach(println)

结果是:

[0.49128147201958017,0.5087185279804199]
[0.42143416087939345,0.5785658391206066]
[0.3949217100212508,0.6050782899787492]
[0.4965059792664432,0.5034940207335569]
[0.49128147201958017,0.5087185279804199]
[0.4775830044196701,0.52241699558033]
[0.4360509428173421,0.563949057182658]
[0.48730029128352853,0.5126997087164714]

但是我想获取每行的第一列数据，如下所示：

0.49128147201958017
0.42143416087939345
0.3949217100212508
0.4965059792664432
0.49128147201958017
0.4775830044196701
0.4360509428173421
0.48730029128352853

如何做到这一点？

输入为标准随机林输入，输入上方为＜code＞val数据＝预测。选择（“文档ID”，“概率”）

predictions.printSchema()

root|--docID： string（nullable=true）|--标签：双（nullable=false）|--特征：向量（nullable=true）|--indexedLabel：双（nullable=true）|--raw预测：向量（nullable=true）|--概率：向量（nullable=true）|--预测：双（nullable=true）|--预测标签：字符串（nullable=true）

并且我想获得“概率”列的第一个值

Answer 1

可以使用 Column.apply 方法获取数组列上的第 n 个项目 - 在本例中为第一列（使用索引 0）：

import sqlContext.implicits._
val proVal = Data.select($"probability"(0)).rdd.map(r => r(0)).collect()

顺便说一句，如果您使用的是Spark 1.6或更高版本，您还可以使用Dataset API以更简洁的方式将数据帧转换为Doubles:

val proVal = Data.select($"probability"(0)).as[Double].collect()