Apache Spark：驱动程序（而不仅仅是执行程序）试图连接到Cassandra

Question

我想我还没有完全理解Spark是如何工作的。

Machine 1      Machine 2        Machine 3        Machine 4
Spark Master   Spark Worker     Spark Worker     Spark Worker
               Cassandra node   Cassandra node   Cassandra node

这背后的原因是我想优化数据的局部性--当在集群上运行我的Spark应用程序时，每个工作人员只需要与其本地的Cassandra节点进行对话。

现在，当通过从机器1（Spark Master）运行spark-submit--deploy-mode client--master Spark://machine-1将Spark应用程序提交到集群时，我预计会出现以下情况：

• 在Spark主程序上启动驱动程序实例
• 驾驶员在每个火花工人上启动一个执行器
• 驱动程序将我的应用程序分发给每个执行者
• 我的应用程序运行在每个Executor上，并从那里通过127.0.0.1:9042
与Cassandra对话

然而，情况似乎并非如此。相反，Spark Master尝试与Cassandra对话（但失败了，因为Machine1主机上没有Cassandra节点）。

我误解了什么？它的工作方式有不同吗？实际上驱动程序是否从Cassandra中读取数据，并将数据分发到执行程序？但是，即使集群的总内存足够，我也无法读取大于机器1内存的数据。

或者，驱动程序与Cassandra对话不是为了读取数据，而是为了找出如何对数据进行分区，并指示执行程序读取“他们的”部分数据？

Answer 1

驱动程序负责创建SparkContext、SQLContext，并在工作节点上调度任务。它包括创建逻辑和物理计划以及应用优化。要做到这一点，它必须能够访问数据源模式和可能的其他信息，如模式或不同的统计信息。实现细节因源而异，但一般来说，这意味着数据应该在所有节点上都可以访问，包括应用程序主节点。

在一天结束时，你的期望几乎是正确的。数据块是在每个worker上单独获取的，而不需要经过驱动程序，但是驱动程序必须能够连接到Cassandra来获取所需的元数据。