如何配置连接到AWS EMR spark集群的Java客户端
我试图编写一个简单的spark应用程序，当我在本地运行它时，它可以将主程序设置为
.master("local[2]")
.master("spark://<master url>:7077")
共有1个答案
若要从远程计算机运行，您需要打开分配给EMR主节点的安全组中的适当端口。您至少需要添加7077。
如果您所说的“远程”指的是不在AWS环境中的远程，那么您还需要设置一种从外部将流量路由到它的方法。
-
我正在尝试使用Apache Camel和Qpid JMS客户端连接到在两个不同节点（VM）中运行的ActiveMQ Artemis主动-主动集群。我正在使用ActiveMQ Artemis 2.17.0。 我正在试图找出我的组织的远程URI配置应该是什么。阿帕奇。qpid。jms。JmsConnectionFactory实例。使用<代码>ampq://host1:5672,ampq://host2
-
我想在由安全kafka集群的kafka主题支持的Flink SQL表上执行一个查询。我能够以编程方式执行查询，但无法通过Flink SQL客户端执行。我不知道如何通过Flink SQL客户端传递JAAS配置（）和其他系统属性。 FlinkSQL以编程方式查询 这很好。 通过SQL客户端Flink SQL查询 运行此命令将导致以下错误。 中没有任何内容，除了以下注释 SQL客户端运行命令 Flink
-
我有一个正在运行的Ignite集群，并且我使用进行节点发现： 它工作得很好，我可以使用节点连接到这个集群。 null
-
我在3台机器上创建了3个artemis主代理。每个主节点都有一个运行在同一机器上的从节点。JGroup用于此集群。现在我只想要一个主动服务器和剩下的2个被动服务器。当我连接到集群时，似乎负载平衡器将我的请求发送到其中一个服务器（可能是基于循环的？）。 在客户端，我为发送方和接收方都这样做了。 我想要一个服务器处理所有的请求和其他2在待机。或者发送者使用一个连接/会话发送消息，而接收者也使用一行来读
-
我已经使用KOPS安装了kubernetes集群。 从kops安装kubectl的节点开始，kubectl全部工作完美（假设节点A）。 我正在尝试从另一个安装了kubectl的服务器（节点B）连接到kubernetes集群。我已经将~/.kube从A节点复制到B节点，但当我尝试执行以下基本命令时： 我的配置文件是： 感谢任何帮助
-
我启用了在集群模式下配置的aws redis弹性缓存，并且我有一个主副本和一个副本（都位于不同的可用性区域）。我正在使用Spring RedisTemboard以及LettuceClientConfiguration，但当我尝试写入redis时，会出现以下错误：- [超文本传输协议-Nio-8080-exec-5]ERRORc.a.w.c.auth.登录-身份验证失败：执行中出错；嵌套异常io.l