如何确定Hadoop使用的所有默认端口并将其全部更改？

Question

我在运行CentOS6.4的三个虚拟机集群上尝试了Hadoop2。

我成功地启动了hadoop集群，尽管hadoop 2的配置文件（如:core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml）让我感到很痛苦。

我想更改Hadoop2使用的所有默认端口。配置文件的正式文档中定义了如此多的端口号。因此，我认为最好确定Hadoop运行时使用了哪些端口，然后将它们全部更改。那么如何才能在运行CentOS的集群中找出Hadoop使用的所有默认端口呢？多谢了。

Answer 1

您可以通过使用netstat命令并结合一个小bash one liner来查找特定进程打开的端口。我的机器上目前还没有hadoop，所以这里有一个示例来了解sshd正在运行的端口（应该是22！）：

您需要知道hadoop进程(TT、JT、NN、DN等）的进程id，可以通过执行另一个oneliner来找到它，因此对于我的sshd示例：

#> sudo ps axww | grep sshd
1065 ?        Ss     0:00 /usr/sbin/sshd -D

您可以在grep for hadoop中替换sshd，它将捕获该节点上运行的大多数进程。

#> sudo netstat -alpn | grep 1065 | grep LISTEN
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1065/sshd       
tcp6       0      0 :::22                   :::*                    LISTEN      1065/sshd       

您需要对所有节点上的所有hadoop进程执行此操作。像数据节点和任务跟踪器端口这样的东西应该跨机器匹配，但是只有一个节点可以有一个name node/job tracker进程在运行。