如何使Spark驱动对主重启有弹性？

Question

也许我对火花大师和司机之间的关系感到困惑。在这样的情况下，主程序是否负责重新连接回驱动程序？如果是，主程序是否将其当前状态序列化到重新启动时可以还原的磁盘某个位置？

Answer 1

在这样的情况下，主程序是否负责重新连接回驱动程序？如果是，主程序是否将其当前状态序列化到重新启动时可以还原的磁盘某个位置？

主节点和驱动程序之间的关系取决于几个因素。首先，驱动程序是承载sparkcontext/streamingcontext的驱动程序，它负责作业的执行。它创建DAG，并保存DAGScheduler和TaskScheduler，分别分配阶段/任务。主节点可以作为驱动程序的主机，以防您单独使用Spark并在“客户机模式”下运行作业。这样，主程序也承载驱动程序进程，如果它死了，驱动程序也死了。在使用“集群模式”的情况下，驱动程序驻留在一个工作节点上，并与主节点频繁通信，以获得当前正在运行的作业的状态，发回关于已完成批处理状态的元html" target="_blank">数据等。

在独立运行时，如果主程序死亡而您重新启动它，主程序不会重新执行以前运行的作业。为了实现这一点，您可以创建并为集群提供一个额外的主节点，并设置它，以便ZooKeeper可以保存主节点状态，并在失败时在两者之间交换。当您以这种方式设置集群时，主服务器知道它以前执行的作业，并代表您恢复这些作业，新的主服务器已经带头。