如何在Hadoop中读取Azure Blob存储？

Question

我有一个map-reduce作业，并且reducer获得一个驻留在Azure Blob存储中的文件的绝对地址，并且reducer应该打开它并读取它的内容。在配置Hadoop集群（HDInsight）时，我添加了包含文件的存储帐户。因此，还原器必须有权访问这个Blob存储，但Blob存储不是我的作业的默认HDFS存储。我的reducer中有以下代码，但它给了我一个FileNotFound错误消息。

FileSystem fs = FileSystem.get(new Configuration());
Path pt = new Path("wasb://mycontainer@accountname..."); 
FSDataInputStream stream = fs.open(pt);

Answer 1

在https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/#addressing中有介绍

语法为wasb:/[e-mail]/example/jars/hadoop-mapreduce-examples.jar

如果“MyContainer”是私有容器，则必须在提供过程中添加“MyAccount”azure存储帐户作为附加存储帐户。