Spark scala用于StringIndexer多列的新管道

Question

我尝试在多个列上应用StringIndexer（），我使用Scala和Spark 2.3
这是我的代码：

val df1 = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("file:///c:/tmp/spark-warehouse/train.csv")

val feat = df1.columns.filterNot(_ .contains("BsmtFinSF1"))

val inds = feat.map { colName =>
  val indexer1 = new StringIndexer()
    .setInputCol(colName)
    .setOutputCol(colName + "I")
    .fit(df1)

  Array(indexer1)
}

val pipeline = new Pipeline().setStages(inds.toArray)

但是，我有一个错误：

错误：（134,50）类型不匹配；

找到：数组[Array[org.apache.spark.ml.feature.StringIndexerModel]
必需：数组[？

注：数组[org.apache.spark.ml.feature.StringIndexerModel]

任何帮助都将不胜感激。非常感谢。

Answer 1

。设置标记接受一个数组[PipelineStage]，但实际上它变成了数组[Array[PipelineStage]，因为您将索引器1包装到冗余数组中：数组（索引器1）。Map函数返回相同类型的集合。此集合的元素由传递给Map的函数的应用程序生成。所以试着这样做：

val inds = feat.map { colName =>
   new StringIndexer()
    .setInputCol(colName)
    .setOutputCol(colName + "I")
    .fit(df1)          
}