如何通过Java API在Google云平台的HDFS中创建目录

Question

我正在Google云平台上运行Hadoop集群，使用Google云存储作为持久数据的后端。我能够从远程机器ssh到主节点，并运行hadoop fs命令。无论如何，当我尝试执行以下代码时，我得到了一个超时错误。

密码

FileSystem hdfs =FileSystem.get(new URI("hdfs://mymasternodeip:8020"),new Configuration());
Path homeDir=hdfs.getHomeDirectory();
//Print the home directory
System.out.println("Home folder: " +homeDir); 

// Create a directory
Path workingDir=hdfs.getWorkingDirectory();
Path newFolderPath= new Path("/DemoFolder");

newFolderPath=Path.mergePaths(workingDir, newFolderPath);
if(hdfs.exists(newFolderPath))
    {
        hdfs.delete(newFolderPath, true); //Delete existing Directory
    }
//Create new Directory
hdfs.mkdirs(newFolderPath); 

执行hdfs.exists（）命令时，我得到一个超时错误。

错误

组织。阿帕奇。hadoop。网ConnectTimeoutException：来自gl051-win7/192的调用。xxx。1.xxx至111.222.333.444。不列颠哥伦比亚省。googleusercontent。com:8020套接字超时失败异常：org。阿帕奇。hadoop。网ConnectTimeoutException：等待通道准备好连接时超时20000毫秒。ch：java。nio。频道。SocketChannel[连接挂起远程=111.222.333.444.bc.googleusercontent.com/111.222.333.444:8020]

您是否知道在Google云平台上对Hadoop使用Java Hadoop API有任何限制？

谢谢

Answer 1

看起来您正在本地计算机上运行该代码，并试图连接到Google Compute Engine VM；默认情况下，GCE具有严格的防火墙设置，以避免将外部IP地址暴露给任意入站连接。如果您使用的是默认值，那么您的Hadoop集群应该位于“默认”GCE网络上。您需要遵循添加防火墙的说明，以允许在端口8020上传入TCP连接，并可能在其他Hadoop端口上以及从您的本地IP地址传入TCP连接，这样才能工作。看起来像这样：

gcloud compute firewall-rules create allow-http \
    --description "Inbound HDFS." \
    --allow tcp:8020 \
    --format json \
    --source-ranges your.ip.address.here/32

请注意，您真的希望避免打开0.0.0.0/0源代码范围，因为Hadoop不会对这些传入请求进行身份验证或授权。您需要尽可能将其限制为您计划拨入的入站IP地址。您可能还需要打开几个其他端口，具体取决于您使用的连接到Hadoop的功能。

更普遍的建议是，只要有可能，您应该尝试在Hadoop集群本身上运行代码；在这种情况下，您将使用主主机名本身作为HDFS权限，而不是外部IP：

hdfs://<master hostname>/foo/bar

这样，您可以将端口暴露限制在SSH端口22，其中传入流量由SSH守护程序正确控制，然后您的代码就不必担心哪些端口打开，甚至不必担心处理IP地址。