将外部JAR设置为hadoop类路径

Question

我试图将外部jar设置为hadoop类路径，但目前还没有成功。

我可以看到上面的HADOOP_CLASSPATH已经被hadoop接收

$hadoop类路径
/etc/hadoop/conf：/usr/lib/hadoop/lib/://usr/lib/hadoop/.//：/home/tom/workspace/libs/opencsv-2.3.jar://usr/lib/hadoop-hdfs/./：/usr/lib/hadoop-hdfs////usr/lib/hadoop-hdfs/.//：/usr/lib/hadoop-hdfs/.//：OOP-MapReduce/.//

指挥

$sudo hadoop jar FlightsByCarrier.jar FlightsByCarrier/user/root/1987.csv/user/root/result

我也尝试了-libjars选项

$sudo hadoop jar FlightsByCarrier.jar FlightsByCarrier/user/root/1987.csv/user/root/result-libjars/home/tom/workspace/libs/opencsv-2.3.jar

stacktrace

14/11/04 16:43:23信息MapReduce.Job:正在运行的作业:job_1415115532989_0001 14/11/04 16:43:55信息MapReduce.Job:job_1415115532989_0001以uber模式运行：false 14/11/04 16:43:56信息MapReduce.Job:map 0%Reduce0%14/11/04 16:45:27信息MapReduce.Job:map 50%Reduce0%14/11/04 16:45:27信息MapReduce.Job:任务Id:adputt_1415115532989_0001M_000001，状态：失败错误:au.com.bytecode.opencsv.csvParser at java.net.urlClassLoader$1.run(urlClassLoader.java:366)at java.net.urlClassLoader$1.run(urlClassLoader.java:355)at java.security.accessController.doprivileged（本机方法）at java.net.urlClassLoader.findClass(urlClassLoader.java:354)at java.net.urlClassLoader.java:354)at apper.map(FlightsByCarrierMapper.java:19)位于flightsByCarrierMapper.map(FlightsByCarrierMapper.java:10)在org.apache.hadoop.mapreduce.mapper.run(mapper.java:144)在org.apache.hadoop.mapred.maptask.runnewmapper(Maptask.java:757)在org.apache.hadoop.maptask.run(maptask.java:339)在org.apache.hadoop.mapred.yarnchild$2.run(yarnchild.java:158)在java.security.auth.subject.doas security.usergroupinformation.doas（usergroupinformation.java:1478)位于org.apache.hadoop.mapred.yarnchild.main(yarnchild.java:153)

任何帮助都是非常感谢的。

Answer 1

运行映射的节点上缺少外部jar。您必须将其添加到缓存中以使其可用。尝试：

DistributedCache.addFileToClassPath(new Path("pathToJar"), conf);

不确定哪个版本的distributedcache不推荐使用，但从Hadoop 2.2.0开始，您可以使用：

job.addFileToClassPath(new Path("pathToJar"));