使用Spark MLlib的线性回归只返回单调预测

Question

检查问题底部的更新

摘要：我有一个不是线性行为的数据集。我试图使用Spark的MLlib(V1.5.2)来拟合一个更像多项式函数的模型，但结果总是得到线性模型。我不知道是否不可能使用线性回归来获得非线性模型。

我正试图拟合一个模型，该模型能充分反映以下数据：

object LinearRegressionTest {

   def main(args: Array[String]): Unit = {
      val sc = new SparkContext("local[2]", "Linear Regression")
      val data = sc.textFile("data2.csv")
      val parsedData = data.map { line =>
         val parts = line.split(',')
         LabeledPoint(parts(1).toDouble, Vectors.dense(parts(2).toDouble))
       }.cache()

      val numIterations = 1000
      val stepSize = 0.001

      val model = LinearRegressionWithSGD.train(parsedData, numIterations, stepSize)
      sc.stop
   }
}

更新问题是由我们使用的spark和spark-ml库的版本引起的。出于某种原因，尽管我提供了更多的特性（输入数据的平方或立方版本），但版本1.5.2并没有拟合出更好的曲线。在升级到2.0.0版本并从主API（不是RDD API）的不推荐的LinearRegressionWithSGD切换到LinearRegression之后，算法的行为与预期一致。用这种新方法，模型拟合出了正确的曲线。

Answer 1

这里没有什么出乎意料的。你使用形式的线性模型

Y = βx + ε

因此，拟合的结果将始终形成一条穿过原点的线（与例如R不同，Spark默认情况下不符合截距），只要模型至少是稍微正常的，它就应该增加到数据的近似分布。

虽然StackOverflow的细节可能与主题无关，但您应该从添加更多特性开始。很明显，这里的近似必须是二次的，所以让我们一步一步地来说明。我们将从一个非常粗略的数据近似值开始：

y <- c(0.6, 0.6, 0.6, 0.6, 0.575, 0.55, 0.525, 0.475, 0.45, 0.40, 0.35, 0.30)
df <- data.frame(y=c(y, rev(y)), x=0:23)
plot(df$x, df$y)

lm1 <- lm(y ~ x + 0, df)
lines(df$x, predict(lm1, df), col='red')

lm2 <- lm(y ~ x, df)
lines(df$x, predict(lm2, df), col='blue')

df$x2 <- df$x ** 2
lm3 <- lm(y ~ x + x2, df)
lines(df$x, predict(lm3, df), col='green')

>

在创建模型时使用setintercept（true）linearregressionmodel，

在模型中加入一些非线性特征。

val x = arts(2).toDouble
LabeledPoint(parts(1).toDouble, Vectors.dense(x, x*x))