SparkML多层接收器错误：java。lang.ArrayIndexOutOfBoundsException

Question

我有下面的模型，我想使用SparkML来估计。

val formula = new RFormula()
  .setFormula("vtplus15predict~ vhisttplus15 + vhistt + vt + vtminus15 + Time + Length + Day")
  .setFeaturesCol("features")
  .setLabelCol("label")

formula.fit(data).transform(data)

注：特征为向量，标签为双精度

root
 |-- features: vector (nullable = true)
 |-- label: double (nullable = false)

我将我的MLP估计器定义如下：

val layers = Array[Int](6, 5, 8, 1) //I suspect this is where it went wrong

val mlp = new MultilayerPerceptronClassifier()
  .setLayers(layers)
  .setBlockSize(128)
  .setSeed(1234L)
  .setMaxIter(100)

// train the model
val model = mlp.fit(train)

不幸的是，我出现了以下错误：

使用Spark的默认log4j配置文件：org/apache/Spark/log4j defaults。属性

线程“main”组织中出现异常。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段3.0中的任务0失败1次，最近的失败：阶段3.0中的任务0.0丢失（TID 3，localhost，executor driver）：java。lang.ArrayIndexOutOfBoundsException:11 at org。阿帕奇。火花ml.分类。LabelConverter$。编码标签点（MultilayerPerceptronClassifier.scala:121）位于org。阿帕奇。火花ml.分类。多层概念分类器$$anonfun$3。在org上应用（MultilayerPerceptronClassifier.scala:245）。阿帕奇。火花ml.分类。多层概念分类器$$anonfun$3。在scala上应用（MultilayerPerceptronClassifier.scala:245）。收集迭代器$$anon$11。接下来（迭代器。scala:363）在scala。收集迭代器$GroupEditor。在scala上进行破坏性处理（迭代器。scala:935）。收集迭代器$GroupEditor。go（迭代器。scala:950）。。。

Answer 1

解决方案是首先找到允许逃离ArrayIndexOutBound的局部最优，然后使用蛮力搜索找到全局最优。Shaido建议找到n

例如，val层=Array[Int]（6,5,8， n）。这假设特征向量的长度为6。-Shaido

所以让n是一个大整数（n=100）然后手动使用蛮力搜索得出一个好的解决方案（n=50然后尝试n=32-错误，n=35-完美）。

谢多的功劳。

Answer 2

重新排列数据集，因为错误显示您的数组少于功能集中的数组，或者您的数据集具有提示错误的空集。我在从事MLP项目时遇到了这种错误。希望我的回答能帮助你。谢谢你伸出援手

Answer 3

org.apache.spark.ml.classification.LabelConverterlassifier.scala:121

这告诉我们数组超出了多层概念分类器（multilayerperceptronsider）的界限。scala文件，让我们看看那里的代码：

def encodeLabeledPoint(labeledPoint: LabeledPoint, labelCount: Int): (Vector, Vector) = {
  val output = Array.fill(labelCount)(0.0)
  output(labeledPoint.label.toInt) = 1.0
  (labeledPoint.features, Vectors.dense(output))
}

它对数据集中的标签执行一次性编码。ArrayIndexOutOfBoundsException发生是因为输出数组太短。

通过返回代码，可以发现标签计数与层数组中的输出节点数相同。换句话说，输出节点的数量应该与类的数量相同。查看MLP的文档，有以下几行：

输出层中节点N的数量对应于类的数量。

因此，解决办法是：

>

重构数据以使其具有与网络输出节点相同数量的类。

注意：最终输出层应该始终是2个或更多，而不是1个，因为每个类应该有一个节点，单个类的问题没有意义。