Hadoop Hadoop_类路径问题

Question

这个问题并不是指在整个集群中分发jar供工作人员使用。

它指的是在客户端机器上指定一些额外的库。更具体地说：我试图运行以下命令来检索序列文件的内容：

   /path/to/hadoop/script fs -text /path/in/HDFS/to/my/file

它抛给我这个错误：text：java.io.IOExc0019： WritableName不能加载类：util.io.DoubleArrayWritable

我有一个名为DoubleArrayWritable的可写类。事实上，在另一台计算机上，一切都运行良好。

我试图设置HADOOP_CLASSPATH以包含包含该类的jar，但没有结果。实际上，跑步时：

   /path/to/hadoop/script classpath 

结果不包含我添加到HADOOP_类路径中的jar。

问题是：如何在运行hadoop时指定额外的库（通过额外的含义，除了hadoop脚本自动包含在类路径中的库之外的其他库）

更多可能有帮助的信息：

• 我不能修改hadoop.sh脚本（也不能修改任何相关脚本）
• 我不能将我的库复制到hadoop安装目录下的 /lib目录
• 在从hadoop.sh运行的hadoop-env.sh中有一行：导出HADOOP_CLASSPATH=$HADOOP_HOME/lib这可能解释了为什么我的HADOOP_CLASSPATHenv var被忽略。

Answer 1

尝试将jar文件添加到默认CLASSPATH变量中，并将HADOOP_CLASSPATH附加到其中。然后执行你的命令。

export CLASSPATH=/your/jar/file/myjar。jar:$CLASSPATH:$HADOOP\u CLASSPATH/path/to/HADOOP/script fs-text/path/in/HDFS/to/my/file

Answer 2

如果有人想检查hadoop类路径，请在终端中输入hadoop类路径
要编译它，请使用以下命令：javac-cp$（hadoop classpath）：path/To/jars/*java\u文件。java

Answer 3

如果允许您设置HADOOP\u类路径，则

export HADOOP_CLASSPATH=/path/to/jar/myjar.jar:$HADOOP_CLASSPATH; \
    hadoop fs -text /path/in/HDFS/to/my/file

我会做好的。因为在您的例子中，这个变量在hadoop env中被重写。因此，请考虑使用<代码> -LBIJARS < /代码>选项来代替：

hadoop fs -libjars /path/to/jar/myjar.jar -text /path/in/HDFS/to/my/file

或者手动调用FsShell：

java -cp $HADOOP_HOME/lib/*:/path/to/jar/myjar.jar:$CLASSPATH \
org.apache.hadoop.fs.FsShell -conf $HADOOP_HOME/conf/core-site.xml \
-text /path/in/HDFS/to/my/file