纱应用程序主机无法连接到资源管理器

Question

我有一个4节点集群（1个名称节点/资源管理器3个数据阳极/节点管理器）

hadoop jar C:\HDP\tez-0.4.0.2.1.1.0-1621\tez-mapreduce-examples-0.4.0.2.1.1.0-1621.jar orderedwordcount sample/test.txt /sample/out

可配置超时后,作业失败

我搜索了这个问题，它总是指向Yarn.ResourceManager.Scheduler.Address配置。在我的所有资源管理器节点和节点管理器中，我都正确地定义了这个配置，但由于某种原因，它没有被拾取

<property>
<name>yarn.resourcemanager.hostname</name>
<value>10.234.225.69</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>

Answer 1

您的ResourceManager可能正在侦听IPv6端口，而您的工作节点（即NodeManager）可能正在使用IPv4连接到ResourceManager

若要快速检查是否是这种情况，请执行

netstat -aln | grep 8030

如果您得到类似于:::8030的内容，那么您的ResourceManager确实正在侦听IPv6端口。如果是IPv4端口，您应该看到类似于0.0.0.0:8030的内容

要解决此问题，您可能需要考虑在所有计算机上禁用IPv6，然后再试一次。