在Zeppelin中添加spark-csv依赖项会产生网络错误

Question

在Zeppelin中添加spark-csv依赖项会产生网络错误。我转到Zeppelin中的Spark解释器，添加了Spark-csv依赖项。com.databricks:spark-csv_2.10:1.2.0。我还在参数选项中添加了它。

我重新启动Zeppelin并运行以下命令：

import org.apache.spark.sql.SQLContext

val sqlContext = new SQLContext(sc)
val df = sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("https://github.com/databricks/spark-csv/raw/master/src/test/resources/cars.csv")
df.printSchema()

是否正确添加了依赖项？

更新

尝试将库更改为com.databricks:spark-csv_2.11:jar:1.6.0，结果如下：

设置解释器“spark.spark”的属性时出错：在central(http://repo1.maven.org/maven2/)中找不到项目com.databricks:spark-csv2.11:jar:1.6.0

Answer 1

看起来您使用的是相当老的库版本，此外还为Scala2.10构建（您的spark似乎是2.11）。

将包更改为com.databricks:spark-csv_2.11:1.5.0，它应该可以工作。