在纱线上运行Flink 1.5
我们正在hadoop 2.6集群上运行Flink 1.5.0纱线会话/料仓/纱线会话。但是，这不会启动任何TaskManager。日志显示Flink JobManager以领导者id 000000开始。。。在JobManager web界面中也没有任务管理器。当我们向这个jobManager提交flink作业时，一些TaskManManager会在执行作业的web界面上生成。这是Flink1.5.0以后的预期行为吗？以同样的方式运行Flink1.4.2确实从启动时就产生了TaskManager。
共有1个答案
是的，Flink运行时FLIP-6的返工包含在Flink 1.5中，它具有您注意到的效果。有关Flink现在如何与YARN交互的简洁描述，请参阅留档的这一部分。
Flink 1.5包含一个配置选项，用于使用以前的作业部署模型，即传统模式。
-
我正在使用spark submit执行以下命令： spark submit script\u测试。py—主纱线—部署模式群集spark submit script\u测试。py—主纱线簇—部署模式簇 这工作做得很好。我可以在Spark History Server UI下看到它。但是，我无法在RessourceManager UI（纱线）下看到它。 我感觉我的作业没有发送到集群，但它只在一个节点上
-
然而，我不知道我是否真的需要一个插件，如果需要，是哪一个，以及如何去做它。我尝试使用'build/mvn'和'build/sbt'直接编译github源代码，但是'spark-assembly2.11-2.0.2.jar'文件只有283字节。 我的目标是使用较新版本的fat jar运行pyspark shell，其方式与这里提到的类似。
-
我一直试图提交一个简单的python脚本，以便在一个带有Yarn的集群中运行它。当我在本地执行作业时，没有问题，一切都很好，但当我在集群中运行它时，它就失败了。 诊断：文件不存在:hdfs://myserver:8020/user/josholsan/.sparkstaging/application_1510046813642_0010/test.py 我不知道为什么它找不到test.py，我也
-
在yarn-cluster模式下，驱动程序在应用程序主程序中运行（在YARN集群内）。在yarn-client模式下，它在提交作业的client节点中运行 我想知道使用一种模式比使用另一种模式有什么好处？我们在什么情况下应该使用哪种模式。
-
我们有一些在纱线上运行的flink作业。我们想将flink作业日志上传到ELK以简化调试/分析。目前flink任务管理器将日志写入。我们希望它写入没有嵌套结构的目录。 我试过使用env。日志目录：/mnt/flink。使用此设置时，无法正确传递配置。
-
作为Apache Flink的新手，以及流处理框架的一般情况下，我有几个关于它的问题，特别是关于并行性的问题。 首先，这是我的代码： 当我想在集群上运行它时，我运行以下命令： 2.为什么Flink没有为这一步使用所有可能的线程？ 我注意到源、窗口和接收器由不同的从服务器处理，但我仍然希望在集群上并行处理。 我在这篇文章中读到:https://stackoverflow.com/a/32329010