火花：错误未找到值SC
我刚从Spark开始。我已经用Spark安装了CDH5。然而，当我尝试使用sparkcontext时，它给出了如下错误
<console>:17: error: not found: value sc
val distdata = sc.parallelize(data)
我对此进行了研究，发现了错误：未找到：值sc
并试图启动火花上下文。/Spark-shell。它给错误没有这样的文件或目录
共有3个答案
另一个stackoverflow帖子通过从spark会话获取sc（spark上下文）来回答这个问题。我是这样做的：
val spark=火花会话。生成器（）。appName（“app_name”）。启用HIVESupport（）。getOrCreate（）
val sc=火花。sparkContext
这里的原始答案：从Spark会话检索SparkContext
将spark目录添加到路径，然后您可以在任何地方使用spark shell。
添加导入组织。阿帕奇。火花SparkContext如果您在spark提交作业中使用它来创建spark上下文，请使用：
val sc = new SparkContext(conf)
其中已经定义了conf。
如果您在它的确切目录中，您可以从开始启动如果您在其他地方，则从Spark-shell。/path/to/Spark-shell开始。
此外，如果使用spark submit运行脚本，则需要首先将sc初始化为SparkContext：
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
-
问题内容： 我在Windows上安装了spark，但无法运行，并显示以下错误： 火花执行的完整日志如下： 问题答案： 正如您发布的链接中所述，我遇到了完全相同的问题，并经历了许多可能的解决方案，但当时没有任何效果。通过运行spark-shell命令，它将在C：中创建tmp \ hive目录，并最终发现权限存在问题。我确保我的HADOOP_HOME设置正确并且包含\ bin \ winutils.e
-
运行命令vc时。sql（testsql），出现以下错误 通用域名格式。液火花沃拉。VoraConfigurationException：未找到ZooKeeper主机 动物园管理员在所有三个节点上启动并运行服务。 错误日志显示以下内容： 2016-09-14 15:14:32418-信息[NIOServerCxn.工厂：0.0.0.0/0.0.0.0:2181：NIOServerCnxnFactor
-
我使用hadoop 2.7.2，hbase 1.4.9，火花2.2.0，scala 2.11.8和java 1.8的hadoop集群是由一个主和两个从。 当我在启动集群后运行spark shell时，它工作正常。我正试图通过以下教程使用scala连接到hbase：[https://www.youtube.com/watch?v=gGwB0kCcdu0][1] . 但当我试图像他那样通过添加那些类似
-
我对Spark是全新的，Spark的学习正在进行中。在实践中，面临以下几个问题。多个步骤和安静的长。我正在UNIX环境中使用spark shell。获取错误如下所示。 步骤1 步骤2： 我只是忽略了上面的警告/错误，继续编写代码。我读到，如果我使用spark shell，sc将自动创建，代码如下。 第3步：正如上面所说的，sc未找到，尝试创建它。 正如火花告诉我这是警告（当然也说，它可能表示错误）
-
每次使用cassandra connector在spark中运行scala程序时都会出现此错误 这是我的程序
-
我在运行下面我写的SPARK代码时出错了。我试图根据键找到所有向量的总和。每个输入行以键（整数）开始，然后是127个浮点数，这是一个具有127个维度的单个向量，即每一行以键和向量开始。