Mesos 上的独立 Spark 集群访问不同 Hadoop 集群中的 HDFS 数据

Question

我们有一个Hadoop集群，数据节点为275个节点（55Tb总内存，12000个VCore）。这个集群与几个项目共享，我们有一个YARN队列分配给我们，资源有限。

为了提高性能，我们正在考虑为我们的项目构建一个单独的Spark集群（在同一网络中的Mesos上）并访问Hadoop集群上的HDFS数据。

正如Spark文档中提到的：https://spark.apache.org/docs/latest/spark-standalone.html#running-alongside-hadoop

我的问题是:

>

这不是违背了Hadoop的哲学：“将计算转移到数据上”吗？

为了获得最佳性能，新的 Spark 群集需要多少节点？

--编辑--

Answer 1

这不是违背了Hadoop的哲学：“将计算转移到数据上”吗？

一般来说是的。特别是如果这些节点位于不同的数据中心。越近越好。现在，我读到它们在同一个网络中：

论同一网络中的Mesos

测量计算机之间的延迟。只有这样，你才能判断它是否好。

为了获得最佳性能，新的 Spark 群集需要多少节点？

对谁最合适？只取决于你的用例。

例如，如果我在表上执行SparkSQL查询，它是否通过从Hadoop集群加载数据在Mesos Spark集群中创建RDD，然后对生成的RDD进行处理？

是的，虽然它不是一个固定的过程“读取所有内容然后处理它”——它不断地读取、处理然后写下“部分结果”，因为正如你可能猜到的那样，它无法在内存中加载1 TB的数据。

这种跨集群数据 IO 不会影响性能吗？由于通常在YARN-Spark设置中，RDD和数据位于相同的节点中。

肯定然而，正如我已经提到的，如果您想要更精确的估计，您应该至少测量这个网络中节点之间的延迟——也许某些节点比其他节点更接近HDFS机器。

没有测量（延迟、性能测试等）和对网络拓扑的仔细分析，这纯粹是猜测。