如何将cassandraRow转换为Row（apache spark）？

Question

我正在尝试从RDD[cassandraRow]创建一个数据帧。。但我不能，因为createDataframe（RDD[Row]，schema:StructType）需要RDD[Row]，而不是RDD[cassandraRow]。

• 我怎样才能做到这一点

根据这个问题的答案，如何在spark中将rdd对象转换为数据帧

（答案之一）关于在RDD[行]上使用toDF（）从RDD获取数据帧的建议，对我来说并不适用。我在另一个示例中尝试使用RDD[行]（尝试使用toDF（）。

• 我也不知道如何用RDD实例（RDD[行]）调用Dataframe（toDF（））方法

Answer 1

如果您真的需要这一点，您可以随时将数据映射到Spark行：

sqlContext.createDataFrame(
  rdd.map(r => org.apache.spark.sql.Row.fromSeq(r.columnValues)),
  schema
)

但如果需要数据帧，最好直接导入数据：

val df = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> table, "keyspace" -> keyspace))
  .load()