当前位置: 首页 > 知识库问答 >
问题:

从haddop集群(远程windows计算机)向hdfs上传文件,就像hue上传一样

吴德辉
2023-03-14

我正在尝试找到一个解决方案,用于将文件从我的本地windows机器或本地linux机器复制到云上的hdfs。

我知道一个办法,

远程->群集节点(使用scp)

节点->hdfs(使用hdfs命令)

但是对于我的用例,它不起作用,我需要找到一个解决方案,直接上传文件从本地到hdfs,就像hue做的上传。

我也试着遵循命令

hdfs dfs-copyfromlocal file:://<'local-host'>:<'local-path'>hdfs://<'hdfs-path'>

但由于以下错误:

copyFromLocal:`<'local-path'>':没有这样的文件或目录

任何建议都将不胜感激。

-谢谢

维卡什

共有1个答案

呼延升
2023-03-14

请注意首先在hdfs中创建dir,

hadoop fs -put /path/in/linux /hdfs/path

hadoop fs -copyFromLocal /path/in/linux /hdfs/path
 类似资料:
  • 问题内容: 我正在使用使用大量ajax的grails创建一个web应用程序。我想使用ajax实现文件上传。我不知道如何使用ajax进行文件上传。我的示例GSP代码是: 我尝试了和。上传后,我想用结果更新“ updateArea”。结果,我打算显示上传文件的详细信息。 问题答案: 通过Ajax上载文件实际上是不可能的。您仍然可以使用隐藏的iframe在后台上传文件,并评估响应(位于iframe内)或

  • 我想在远程服务器上上传文件,目前我只能在本地机器上上传。下面是我的代码 提前感谢!

  • 我实际上想要的是windows环境中等效的非ssh连接。根据要求,我的控制器机器可以使用某种实用程序/协议(如ssh或telnet或rpc或tpc)使用用户名密码连接到远程机器,并且使用此会话,我可以在远程机器上传输文件或执行命令。此连接执行必须在远程计算机不进行任何干预的情况下完成,即,我不需要在远程计算机上安装任何模块或安装任何实用程序,也不需要运行任何脚本。 我的控制器和远程环境都是窗口。

  • 我想使用FormData将图像上传到我的后端,但由于Ionic DEVAPP和Ionic VIEW不支持文件、文件传输和文件上传插件,我只需要使用Angular Http或HttpClient即可。 当使用DestinationType.FILE_URI时,我可以从文件中获取内部url并将其显示在img对象上,但如果没有本机文件、文件路径和文件传输插件,我无法从该url创建打字脚本文件对象。 }

  • 在谷歌上搜索了很长时间后,我没有找到一个pyspark接口来获取文件列表。似乎pyspark没有提供这样的接口。 我看到一个SO回答,说我需要使用hdfscli并将其导入到我的python脚本中。这也是唯一的办法吗?我不敢相信Spark没有hdfs文件列表的方法。

  • 本文向大家介绍java结合HADOOP集群文件上传下载,包括了java结合HADOOP集群文件上传下载的使用技巧和注意事项,需要的朋友参考一下 对HDFS上的文件进行上传和下载是对集群的基本操作,在《HADOOP权威指南》一书中,对文件的上传和下载都有代码的实例,但是对如何配置HADOOP客户端却是没有讲得很清楚,经过长时间的搜索和调试,总结了一下,如何配置使用集群的方法,以及自己测试可用的对集群