从本地spark-submit检查远程HDFS上是否存在文件

Question

我正在开发一个专门用于在HDFS文件系统（位于hdfs_ip)上使用Spark的Java程序。我的目标之一是检查HDFS上是否存在路径HDFS:/hdfs_ip:hdfs_port/path/to/file.json的文件。在本地调试程序时，我发现无法使用以下代码访问此远程文件

private boolean existsOnHDFS(String path) {
     Configuration conf = new Configuration();
     FileSystem fs;
     Boolean fileDoesExist = false ;
     try {
         fs = FileSystem.get(conf);
         fileDoesExist = fs.exists(new Path(path)) ;
     } catch (IOException e) {
            e.printStackTrace();
     }
     return fileDoesExist ;
 }

实际上，FS.exists尝试在本地FS中而不是在HDFS上查找文件hdfs:/hdfs_ip:hdfs_port/path/to/file.json。顺便说一句，让hdfs:/hdfs_ip:hdfs_port前缀使fs.exists崩溃，而取消它将回答false，因为/path/to/file.json本地不存在。

fs的适当配置是什么，以使事情在本地和从Hadoop集群执行Java程序时正常工作？

编辑：我最后放弃了，把这个错误补丁传给了我团队中的其他人。感谢那些试图帮助我的人！

Answer 1

问题是您向FileSystem传递了一个空的conf文件。

您应该像这样创建您的文件系统：

FileSystem.get(spark.sparkContext().hadoopConfiguration());

当spark是SparkSession对象时。

正如您在FileSystem的代码中所看到的：

 /**
   * Returns the configured filesystem implementation.
   * @param conf the configuration to use
   */
  public static FileSystem get(Configuration conf) throws IOException {
    return get(getDefaultUri(conf), conf);
  }

  /** Get the default filesystem URI from a configuration.
   * @param conf the configuration to use
   * @return the uri of the default filesystem
   */
  public static URI getDefaultUri(Configuration conf) {
    return URI.create(fixName(conf.get(FS_DEFAULT_NAME_KEY, DEFAULT_FS)));
  }

它根据作为参数传递的配置创建URI，当DEFAULT_FS为：时，它查找键FS_DEFAULT_NAME_KEY(fs.defaultfs)

  public static final String  FS_DEFAULT_NAME_DEFAULT = "file:///";