将文件从Hdfs复制到Hdfs scala
是否有一种已知的方法使用Hadoop api/spark scala在Hdfs上将文件从一个目录复制到另一个目录？
我尝试使用copyFromLocalFile，但没有帮助
共有1个答案
尝试Hadoop的fileutil.copy()命令，如下所述:https://hadoop.apache.org/docs/r2.8.5/api/org/apache/hadoop/fs/fileutil.html#copy(org.apache.hadoop.fs.filesystem,%20org.apache.hadoop.fs.path,%20org.apache.hadoop.fs.path,%20org.apache.hadoop.fs.path,%20org.apache.hadoop.fs.path,
val conf = new org.apache.hadoop.conf.Configuration()
val srcPath = new org.apache.hadoop.fs.Path("hdfs://my/src/path")
val dstPath = new org.apache.hadoop.fs.Path("hdfs://my/dst/path")
org.apache.hadoop.fs.FileUtil.copy(
srcPath.getFileSystem(conf),
srcPath,
dstPath.getFileSystem(conf),
dstPath,
true,
conf
)
-
我想将文件salesjan2009.csv（存储在本地文件系统中，~/input/salesjan2009.csv)复制到HDFS（Hadoop分布式文件系统）主目录中 我编写了这段代码hduser@ubuntu:/usr/local/hadoop$hdfs dfs-copyfromlocal'/home/hduser/desktop/input/salesjan2009.csv'/hdfs-pa
-
我正在尝试在我的本地机器上启动一个hadoop单节点集群。我已经根据https://amodernstory.com/2014/09/23/installing-hadoop-on-mac-osx-yosemite/配置了以下文件:hadoop-env.sh、core-site.xml、mapred-site.xml和hdfs-site.xml。当我运行脚本和命令（在运行之后）时，我看到数据阳极已
-
如何将文件从HDFS复制到本地文件系统。文件下没有文件的物理位置，甚至没有目录。我如何将它们移到本地进行进一步的验证。我通过winscp进行了尝试。
-
我正在尝试使用EMR中的工作流将文件从s3复制到hdfs，当我运行以下命令时，jobflow成功启动，但当它尝试将文件复制到HDFS时给我一个错误。我需要设置任何输入文件权限吗？ 命令： ./elastical mapreduce--作业流j-35D6JOYEDCELA--jar s3://us-east-1.elasticmapreduce/libs/s3distcp/1.latest/s3di
-
我已经在Ubuntu 14.04上安装了hadoop。每当我将文件从本地文件系统复制到HDFS时，我都会出现以下错误。 我使用这个命令： 我遇到的错误是： 我是Linux环境的新手。我不明白哪个文件不存在。
-
我已经成功地完成了在Amazon EMR上的工作，现在我想将结果从复制到，但是我遇到了一些问题 这是代码（--steps） 这是日志：