在jupyter笔记本中导入自定义scala对象，ontext.add文件

Question

我有一个Jupyter笔记本，我试图将一个键作为字符串从外部函数导入。在pyspark中，所有代码都可以正常工作

配置。py

credentials = {"item1": "prueba"}

def get_key(storage_account):
    return credentials[storage_account]

在笔记本上打电话：

spark.sparkContext.addFile("/home/joaco/data-experiment/notebooks_fpatito/readExternalFilesNotebook/pySpark/Config.py")
import Config
key = Config.get_key("item1")
print(key)

但是，当我尝试在Scala Spark中做同样的事情时，笔记本会给我一个未找到的错误

"未找到：value testMap"

测试图。斯卡拉

object testMap {

  val mapExample = Map(
    "item1" -> "item1value",
    "item2" -> "item2value",
    "item3" -> "item3value",
  )

}

我在做同样的火花ontext.addfile：

spark.sparkContext.addFile("/home/joaco/data-experiment/notebooks_fpatito/readExternalFilesNotebook/Spark/testMap.scala")

这个导入：import testMap_

但是找不到该类




Answer 1

Python是一种解释语言，但Scala不是，因此当您尝试像加载Python文件一样加载Scala文件时，Notebook会抛出错误。您需要将Scala文件编译为一个类并使其作为JAR可用。然后您可以将JAR添加到您的路径中，如下所示：

1. --jar火花命令行上的选项
2. spark.sparkContext.addJar（/path/to/JAR/file）