火花流和高可用性

Question

我正在构建作用于多个流的Apache Spark应用程序。

我确实阅读了文档中的性能调优部分:http://spark.apache.org/docs/latest/streaming-programming-guide.html#performan-tuning

我没有得到的是：

1）流媒体接收器是位于多个工作节点上，还是位于驱动程序机器上？

2）如果接收数据的节点之一失败（断电/重新启动）会发生什么

Answer 1

流媒体接收器是位于多个工作节点上，还是驱动程序机器

接收者位于工作节点上，它们负责存储数据的源的消耗。

如果接收数据的节点之一失败（断电/重新启动）会发生什么

接收器位于工作节点上。工作节点从驱动程序获取它的任务。如果您在客户端模式下运行，该驱动程序可以位于专用主服务器上；如果您在集群模式下运行，它可以位于某个工作服务器上。如果一个节点失败而不运行驱动程序，驱动程序将把失败节点上的分区重新分配给另一个分区，这个分区将能够从源重新读取数据，并执行从故障中恢复所需的额外处理。

这就是为什么需要像Kafka或AWS Kinesis这样的可回放源码。