在同一集群中同时执行Spark流作业和Spark批处理作业的最佳实践

Question

我实际上正在部署一个Spark/Kafka/Cassandra应用程序，而我正面临一个不同解决方案的问题，所以我在这里听取您的建议。

>

我在Spark streaming中运行了一个很长时间的应用程序，用于处理Kafka中的Avro消息。根据消息的性质，我可以做一些不同的案例，最后在Cassandra中保存一个记录，所以只是这些技术的一个基本用例。

所以我正在寻找执行批处理作业的最佳实践。由于spark流作业在运行时占用了集群中的所有资源,我认为我有两种解决方案：

>

将Spark批处理包含在间隔一小时的Spark流“微”批处理中，例如
优点：易于执行，优化资源分配
缺点：不是很干净，微批处理的间隔很大（在这种情况下Spark行为是什么？）

在群集中保留一些用于Spark作业的资源
优点：清洁
缺点：资源分配未优化，导致某些处理器暂时无法执行任何操作

所以我真的很有兴趣得到你的建议和一些你在类似案件中得到的经验。

Answer 1

您可以在Yarn和Mesos上使用动态分配，以确保您的作业仅在需要时才消耗资源。