value read不是组织的成员。阿帕奇。火花SparkContext

Question

scala的版本是2.11.8；jdk为1.8；spark是2.0.2

我试图在spark apache的官方网站上运行一个LDA模型的示例，我从以下句子中得到了错误消息：

val dataset = spark.read.format("libsvm")
  .load("data/libsvm_data.txt")

错误按摩是：

错误：（49，25）读取的值不是组织的成员。阿帕奇。火花SparkContext val dataset=spark。阅读格式（“libsvm”）^

我不知道怎么解决。

Answer 1

下面是sql上下文函数的完整语法

val df = sqlContext
                .read()
                .format("com.databricks.spark.csv")
                .option("inferScheme","true")
                .option("header","true")
                .load("path to/data.csv");

如果你正在读/写csv文件

Answer 2

添加以下行：

import org.apache.spark.sql.SparkSession

val session = SparkSession.builder().appName("app_name").master("local").getOrCreate()

val training = session.read.format("format_name").load("path_to_file")

Answer 3

看起来您试图在SparkContext上调用read，而不是SQLContext或SparkSession：

// New 2.0.+ API: create SparkSession and use it for all purposes:
val session = SparkSession.builder().appName("test").master("local").getOrCreate()
session.read.load("/file") // OK

// Old <= 1.6.* API: create SparkContext, then create a SQLContext for DataFrame API usage:
val sc = new SparkContext("local", "test") // used for RDD operations only
val sqlContext = new SQLContext(sc) // used for DataFrame / DataSet APIs

sqlContext.read.load("/file") // OK
sc.read.load("/file") // NOT OK