Hadoop copyToLocalFile在Yarn集群模式下失败
我试图从我的Spark2应用程序中使用Hadoop的copyToLocalFile函数将一个文件从HDFS复制到本地。
val hadoopConf = new Configuration()
val hdfs = FileSystem.get(hadoopConf)
val src = new Path("/user/yxs7634/all.txt")
val dest = new Path("file:///home/yxs7634/all.txt")
hdfs.copyToLocalFile(src, dest)
18/10/03 12:18:40 ERROR yarn.ApplicationMaster: User class threw exception: java.io.FileNotFoundException: /home/yxs7634/all.txt (Permission denied)
共有1个答案
您有一个权限拒绝错误，我的意思是，您用来提交作业的用户无法访问该文件。该目录至少应该具有用户“other”的读取权限，如下所示:-rw-rw-r--
可以粘贴目录和文件的权限吗？命令是
hdfs dfs -ls /your-directory/
-
我正在使用TOS 7.1和MapR 6.0发行版以及sprak2。2. 流程：主任务- 两份工作1 下面是集群模式的应用程序日志中的错误：线程“main”java中出现异常。lang.NoClassDefFoundError:例程/system/api/TalendJob。 从错误中 请建议。
-
Redis streams是否受益于群集模式？假设您有10个流，它们是分布在集群中还是全部分布在同一个节点上？我计划使用Redis streams实现真正的高吞吐量（每秒200万条消息），因此我担心Redis streams在这种规模下的性能。 如果Redis streams不能在集群模式下进行开箱即用的扩展，那么任何关于水平扩展Redis streams的指导都会非常棒。
-
最近，我在使用logback.xml作为日志记录时，在独立集群模式下的Flink日志记录中遇到了一个问题。我的要求是，我的所有作业都应该登录到特定的文件夹中，我的flink框架日志应该放在单独的文件夹中，而且对于在我的flink集群中运行的每个作业，应该有单独的文件夹用于不同的作业。我在我的本地集群中测试了它，它运行良好，我得到了所有的日志，与我提交的Flink作业相关的单独文件夹，但一旦我在独立
-
我是一名spark/纱线新手，在提交纱线集群上的spark作业时遇到exitCode=13。当spark作业在本地模式下运行时，一切正常。 我使用的命令是： Spark错误日志：
-
我正在用spark-submit在纱线集群模式下运行一个spark作业。为了在运行时提交输入和输出文件路径，我尝试加载一个包含输入和输出路径的属性文件。 属性文件：input.properties