如何区分MAPR文件系统和HDInsight Blob存储

Question

我正在尝试执行下面的distcp命令，但是它抛出了异常：

hadoop distcp date_load=201901* wasb://[e-mail]/luiz/producao/performance/performance_report

抛出的异常如下：

我正在尝试执行下面的distcp命令，但是它抛出了异常：

Hadoop distcp date _ load = 201901 * wasb://de v3-spark @ cluster dev . blob . core . windows . net/Luiz/producao/performance/performance _ report

抛出的异常如下：

19/02/06 13:34:53 INFO impl.MetricsConfig：从hadoop-metrics2.properties加载属性19/02/2006 13:34:52 INFO impl.MetrisSystemImpl:计划的快照周期为10秒。2006年2月19日13:34:53信息impl.MetricsSystemImpl:azure文件系统度量系统启动2006年2日19日13:34:53错误工具。DistCp:无效参数：org.apache.hadoop.fs.azure.AzureException:org.apacher.hadoop.fs.azure。AzureExcption:未找到帐户clusterdev.blob.core.windows.net中的容器dev3火花，我们无法使用匿名凭据创建它。位于org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession（AzureNativeFileSystemStore.java:938），位于org.aaphe.hadop.fs.azureorg.apache.hadoop.fs.FileSystem.access$300（FileSystem.java:98），位于org.apacher.hadoop.fs.FileSystem$Cache.getInternal（FileSystem.gava:2773），位于.org.apache.hadoop.fs.FileSystem$Cache.get（FileSystem.cava:2755），位于组织.apache.jadoop.fs.FileSystem.get（FileSystem.java:411），位于位于org.aaphe.hadoop.fs.Path.getFileSystem（Path.java:309），位于。存在于（DistCp.java:216）org.apache.hadoop.tools.DistCp.run（DistCp.java:116）位于org.apacher.hadoop.util.ToolRunner.run（ToolRunner.java:70），位于org.aaphe.hadop.tools.DistCp.main（DistPp.java:430），原因是：org.apachel.hadoos.fs.azure.AzureException：未找到帐户clusterdev.blob.core.windows.net中的容器dev3火花，我们无法使用匿名凭据创建它。位于org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials（AzureNativFileSystemStore.java:730），位于org.aaphe.hadop.fs.azure，我们不能使用匿名凭证创建它。

Answer 1

可以将本地群集分离到 Azure 存储帐户

% hadoop distCP hdfs://<yourHostName>:9001/user/<yourUser>/<yourDirectory> wasbs://<yourStorageContainer>@<YourStorageAccount>.blob.core.windows.net/<yourDestinationDirectory>/

希望这有帮助。