Spark会话和SparkContext有什么区别？[复制]
我只知道版本差异，但不知道功能或其他。i、 e Sparksession具有内部sparkcontext和conf。
共有2个答案
这里有一个例子：
colName = "name of the column on wich you want to partition the query"
lowerBound = 0L
upperBound = xxxL // this is the max count in our database
numPartitions = 5 // example
spark.read.jdbc(url,tablename,colName,lowerBound,numPartitions,props).count() // this is a count but can be any query
计数将并行执行，结果将进入rdd的5个分区
在旧版本的Spark中，有不同的上下文作为不同api的入口点（sparkcontext用于核心api，sql上下文用于Spark sql api，流式上下文用于Dstream api等）这给开发人员带来了困惑，也是spark团队的一个优化点，因此在最新版本的spark中只有一个入口点（spark会话），从中可以获得其他各种入口点（spark上下文、流式上下文等）
-
在请求范围中，bean被定义为HTTP请求，而在会话范围中，bean被定义为HTTP会话。例如， 如果bean范围是请求，并且用户在其用户会话中对网页发出多个请求，则在每个请求上都会创建一个新bean。 而如果范围被定义为bean的会话，如果用户多次请求网页，则在每次请求时都会返回相同的bean。 请让我知道这种理解是否正确？
-
我目前正在学习Scala并运行99个问题（http://aperiodic.net/phil/scala/s-99/），它给P07（http://aperiodic.net/phil/scala/s-99/p07.scala）的解决方案如下所示： 但是当我将更改为或其他方式时，结果似乎没有什么不同。因此，我质疑有什么不同以及他们为什么这样做。
-
我有一个Spark应用程序，它使用Spark 2.0新API和。我正在使用的另一个应用程序之上构建此应用程序。我想将传递给我的应用程序，并使用现有初始化。 然而，我找不到一个方法如何做到这一点。我发现带有的构造函数是私有的，因此我无法以这种方式初始化它，而且生成器不提供任何方法。你认为有什么解决办法吗？
-
Spark shell：它基本上打开了scala spark sql：它似乎直接连接到hive元存储，我们可以用类似于hive的方式编写查询。并查询配置单元中的现有数据 我想知道这两者的区别。。在spark sql中处理任何查询是否与在spark shell中相同？我的意思是，我们可以在spark sql中利用spark的性能优势吗？ Spark 1.5.2在这里。
-
< code>$@和< code >“$ @”有什么区别吗？ 我知道非特殊字符可能存在差异，但是带有输入参数的符号呢？
-
我试图优化两个spark dataframes之间的联接查询，让我们将它们称为df1、df2（在公共列“saleid”上联接）。df1非常小(5M)，所以我在spark集群的节点中广播它。df2非常大（200米行），所以我尝试通过“saleid”对它进行桶/重新分区。 例如： 分区： 水桶： 我不知道哪一个是正确的技术使用。谢谢。