我们是否应该像在训练前并行化Seq一样并行化数据frame

Question

考虑一下这里给出的代码，

https://spark.apache.org/docs/1.2.0/ml-guide.html

import org.apache.spark.ml.classification.LogisticRegression
val training = sparkContext.parallelize(Seq(
  LabeledPoint(1.0, Vectors.dense(0.0, 1.1, 0.1)),
  LabeledPoint(0.0, Vectors.dense(2.0, 1.0, -1.0)),
  LabeledPoint(0.0, Vectors.dense(2.0, 1.3, 1.0)),
  LabeledPoint(1.0, Vectors.dense(0.0, 1.2, -0.5))))

val lr = new LogisticRegression()
lr.setMaxIter(10).setRegParam(0.01)

val model1 = lr.fit(training)

假设我们使用sqlcontext.read（）将“training”读取为dataframe，那么我们是否还应该执行以下操作

val model1 = lr.fit(sparkContext.parallelize(training)) // or some variation of this

Answer 1

DataFrame是一种分布式数据结构。并行化既不需要也不可能。sparkconext.parallelize方法仅用于驻留在驱动程序内存中的分布式本地数据结构。您不应该习惯于分发大型数据集，更不用说重新分发RDDS或更高级别的数据结构了（就像您在上一个问题中所做的那样）

sc.parallelize(trainingData.collect()) 

如果要在rdd/dataframe(dataset)之间进行转换，请使用为此目的设计的方法：

>

从dataframe到rdd:

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.Row
import org.apache.spark.rdd.RDD

val df: DataFrame  = Seq(("foo", 1), ("bar", 2)).toDF("k", "v")
val rdd: RDD[Row] = df.rdd

val rdd: RDD[(String, Int)] = sc.parallelize(Seq(("foo", 1), ("bar", 2)))
val df1: DataFrame = rdd.toDF
// or
val df2: DataFrame = spark.createDataFrame(rdd) // From 1.x use sqlContext