在EMR集群中提交Flink作业：未能初始化集群入口点YarnJobClusterEntrypoint
我正在使用EMR 5.30.0，并尝试使用以下命令提交Flink(1.10.0)作业
Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment.
2020-06-17 21:40:51,199 ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Could not start cluster entrypoint YarnJobClusterEntrypoint.
org.apache.flink.runtime.entrypoint.ClusterEntrypointException: Failed to initialize the cluster entrypoint YarnJobClusterEntrypoint.
at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.startCluster(ClusterEntrypoint.java:187)
at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.runClusterEntrypoint(ClusterEntrypoint.java:518)
at org.apache.flink.yarn.entrypoint.YarnJobClusterEntrypoint.main(YarnJobClusterEntrypoint.java:119)
Caused by: org.apache.flink.util.FlinkException: Could not create the DispatcherResourceManagerComponent.
at org.apache.flink.runtime.entrypoint.component.DefaultDispatcherResourceManagerComponentFactory.create(DefaultDispatcherResourceManagerComponentFactory.java:261)
at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.runCluster(ClusterEntrypoint.java:215)
at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.lambda$startCluster$0(ClusterEntrypoint.java:169)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844)
at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.startCluster(ClusterEntrypoint.java:168)
... 2 more
Caused by: java.net.BindException: Could not start rest endpoint on any port in port range 8081
at org.apache.flink.runtime.rest.RestServerEndpoint.start(RestServerEndpoint.java:219)
at org.apache.flink.runtime.entrypoint.component.DefaultDispatcherResourceManagerComponentFactory.create(DefaultDispatcherResourceManagerComponentFactory.java:165)
... 9 more
rest.port: 8081
想知道是否每个提交的作业都试图创建一个Flink Yarn会话，而不是使用现有的会话。
谢谢Sateesh
共有1个答案
我能解决它。似乎有端口冲突，我不得不使用一系列端口，并注释掉了rest.port：8081
#rest.port: 8081
rest.bind-port: 50100-50200
谢谢
-
我们的团队在我们的K8S集群中设置了Flink会话集群。我们选择Flink会话集群而不是作业集群，因为我们有许多不同的Flink作业，因此我们希望将Flink的开发和部署与我们的作业分离。我们的Flink设置包含： 单个JobManager作为K8S吊舱，无高可用性（HA）设置 我们在一个单独的存储库中开发工作，并在代码合并时部署到Flink集群。 现在，我们注意到在K8S中作为pod的JobMa
-
在ResourceManager节点上启动flink作业（查找配置文件） 从ResourceManager下载配置文件到本地。 我想，这两种方式都不太好。如何将作业提交到远程纱线集群。有没有合适的办法？
-
我正在研究Flink 1.9.1的docker/k8s部署可能性。 我看完了[1][2][3][4]。 目前，我们确实认为，我们将尝试采用工作集群方法，尽管我们想知道社区的这一趋势是什么？我们不希望每个Flink集群部署多个作业。 不管怎样，我想知道一些事情： > 在这两种情况下，Flink的UI都显示每个任务管理器有4个CPU。 如果使用作业群集，如何重新提交作业。我指的是这个用例。你可能会说我
-
我们目前正在kubernetes上运行flink，作为使用这个helm模板的作业集群：https://github.com/docker-flink/examples/tree/master/helm/flink（带有一些添加的配置）。 如果我想关闭集群，重新部署新映像（由于应用程序代码更新）并重新启动，我将如何从保存点进行恢复？ jobManager命令严格设置在standalone-job.s
-
我很担心，因为我在启动Hazelcast实例后会得到以下跟踪日志： 使用最新版本的Hazelcast 3.7进行测试，但使用3.6进行测试，并在多播环境中使用默认的Hazelcast配置 到底是什么意思？这是有问题的征兆？ 谢谢你
-
我们正在部署一个新的Flink流处理作业，它的状态（存储）需要使用历史数据进行初始化，并且在开始处理任何新的应用程序事件之前，该数据应该在状态存储中可用。我们不想显着修改Flink作业以同时加载历史数据。我们考虑编写另一个单独的Flink作业来处理历史数据，更新其状态存储并创建一个Savepoint并使用此Savepoint在主Flink作业中初始化状态。看起来状态处理器API仅适用于DataSe