当前位置: 首页 > 知识库问答 >
问题:

哪个java类可以解析hadoop支持的文件系统uri?

平和雅
2023-03-14

我有以下字符串,它是sparkContext中的路径参数。textFile方法

s3://桶/前缀1/{file1.txt,file2.special.txt},s3://桶/前缀2/{file3.txt,file4.special.txt},s3://桶/前缀3/{file5.special.txt,file6.txt}

我想做一些解析和操作(例如,只获取包含“.special”的文件)以他们的名义),但我宁愿不实现自己的解析。

哪个类对这样的URI进行底层解析?

共有1个答案

梁兴修
2023-03-14

尝试以下操作:

val path = new org.apache.hadoop.fs.Path("s3://bucket/prefix1/{file1.txt,file2.special.txt},s3://bucket/prefix2/{file3.txt,file4.special.txt},s3://bucket/prefix3/{file5.special.txt,file6.txt}");

https://hadoop.apache.org/docs/r2.8.2/api/org/apache/hadoop/fs/Path.html

 类似资料:
  • 请注意:我不是在讨论Java概念或透视图(即文件和文件系统类之间的区别),我是在讨论在HDFS上使用Java.io.File的效果。

  • 问题内容: 我在CentOS 6.6上安装了一个基本的hadoop集群,并想编写一些基本程序(浏览文件系统,删除/添加文件等),但是我仍在努力使最基本的应用程序正常工作。 当运行一些基本代码以将目录的内容列出到控制台时,出现以下错误: 我的pom.xml依赖项 代码: 调用fs.initialize()后将引发错误。我真的不确定这是什么问题。我是否缺少依赖关系?他们是错误的版本吗? 问题答案: 我

  • 我听说Java在较新版本的Android上速度越来越快,几乎和C一样快,性能取决于代码/操作的类型。这是真的吗?如果是,哪个Java版本在Android上最快,并且支持Android开发? 我目前可能有Java11;当我将输入CMD时,它是这样说的: 但是,当我打开“关于Java”应用程序时,我得到了这个: 这次升级值得吗?它与Java8/11在构建/语法/特性方面有什么不同?更改Java/JDK

  • 是否有MIP SDK支持的文件扩展名的完整列表? 我能够在MIPSDK中找到一个模糊的定义-文件处理程序概念,然后是AIP统一标记客户端和AIP经典客户端的定义,但没有特定于MIPSDK。 例如,我在处理微软发布者 (.pub) 文件时收到以下错误:

  • 从Hadoop 1.2.1的文件系统Shell中,它显示: FS shell由以下人员调用:

  • 问题内容: 我的Web应用程序在JDK 1.7上运行良好,但在1.8下崩溃,但出现以下异常(在使用Jetty 8启动应用程序服务器期间)。我正在使用Spring版本:3.2.5.RELEASE。 例外: 我认为该问题是由于spring和依赖它的“ asm.jar”库而发生的。 我该如何解决? 问题答案: 正如@prunge和@Pablo Lozano所说,如果要将代码编译为Java 8(-targ