AZN可以直接从HDFS而不是从本地存储复制trasnfer文件到Azure吗？
我想我有一个相当直截了当的问题。我使用的是托管在Unix机器上的Hadoop集群。并且我需要将ORC文件从这个Hadoop集群传输到Azure BLOB存储。
如果我在承载Hadoop集群的Unix计算机上安装AzCopy，那么我是否能够在HDFS和Azure之间来回传输文件？
有人能帮我解决这个关于AZCOPY的困惑吗？会有很大的帮助。提前道谢。
共有1个答案
您只需使用distcp即可。参见此处的解决方案（我只是颠倒了参数的顺序）https://stackoverflow.com/A/54514602/1537195
hadoop distcp -D fs.azure.account.key.<account name>.blob.core.windows.net=<Key> hdfs://<hdfs path> wasb://<container>@<account>.blob.core.windows.net<path to wasb file>
-
我有一个Spark程序（在Scala中）和一个。我正在用的编写一些文件。在我的本地机器上，我可以使用本地文件路径，它与本地文件系统一起工作。在我的集群上，它与HDFS一起工作。 我还想写其他任意文件作为处理的结果。我在本地计算机上将它们作为常规文件编写，但希望它们进入集群上的HDFS。 似乎有一些与文件相关的方法，但它们似乎都是输入而不是输出。 我该怎么做？
-
我想通过运行在Azure VM上的FTP服务器与用户共享Azure Blob存储中的文件。 据我所知，您不能在VM上挂载Blob存储，但可以使用“网络使用”挂载Azure文件共享。 Blob存储上的文件将以增量方式上载，因此理想情况下，我希望在上载时将其复制到Azure文件，Azure功能似乎是理想的方式，因为它们很容易为我设置和处理Blob存储上的触发器。 我如何使用Azure功能将文件从Blo
-
是否有一种已知的方法使用Hadoop api/spark scala在Hdfs上将文件从一个目录复制到另一个目录？ 我尝试使用copyFromLocalFile，但没有帮助
-
如何将文件从HDFS复制到本地文件系统。文件下没有文件的物理位置，甚至没有目录。我如何将它们移到本地进行进一步的验证。我通过winscp进行了尝试。
-
我的web应用允许用户上传文件，我想为此使用Cloud azure blob存储。 由于下载将非常频繁（超过上传），我想节省服务器计算时间和带宽，并直接从azure blob服务器提供文件。 我相信这是可能的，在谷歌云上使用Firebase（火库）。在那里你可以直接从客户端上传和下载。（我知道身份验证和授权也由Firebase管理，所以它让事情变得更容易） Azure上是否存在类似的机制/服务？
-
是否可以创建一个html表单，允许Web用户直接将文件上传到azure blob store，而不使用其他服务器作为中介？S3和GAW blob store都允许这样做，但我找不到对azure blob存储的任何支持。