Alluxio错误：java.lang.IllegalArgumentException：错误的FS

Question

我能够使用cloudera提供的示例jar在alluxio上运行wordcount,使用：

sudo -u hdfs hadoop jar /usr/lib/hadoop-0.20-mapreduce/hadoop-examples.jar wordcount -libjars /home/nn1/alluxio-1.2.0/core/client/target/alluxio-core-client-1.2.0-jar-with-dependencies.jar alluxio://nn1:19998/wordcount alluxio://nn1:19998/wc1

但是当我使用附带代码创建的jar时，我不能运行它，这也是一个示例wordcount示例代码

sudo -u hdfs hadoop jar /home/nn1/HadoopWordCount-0.0.1-SNAPSHOT-jar-with-dependencies.jar edu.am.bigdata.C45TreeModel.C45DecisionDriver -libjars /home/nn1/alluxio-1.2.0/core/client/target/alluxio-core-client-1.2.0-jar-with-dependencies.jar alluxio://10.30.60.45:19998/abdf alluxio://10.30.60.45:19998/outabdf

上面的代码是使用maven pom.xml文件构建的

 <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>2.6.0-mr1-cdh5.4.5</version>
     </dependency>
     <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.6.0-cdh5.4.5</version>
     </dependency>

你能帮我在alluxio集群中运行我的wordcount程序吗。希望没有额外的配置添加到pom文件运行相同。

Answer 1

问题来自对

文件系统fs=filesystem.get（conf）；

在101线。由filesystem.get(conf)创建的文件系统将只支持Hadoop的fs.defaultfs属性定义的模式的路径。若要修复错误，请将该行更改为

还可以通过修改core-site.xml中的fs.defaultfs来修复该错误

<property>
  <name>fs.defaultFS</name>
  <value>alluxio://nn1:19998/</value>
</property>

但是，这可能会影响共享core-site.xml文件的其他系统，因此我建议使用第一种方法，将alluxio://URI传递给filesystem.get()