重新安装JVM后，hadoop启动脚本中的sed语法混乱

Question

我试图在Windows Azure Cloud上运行3节点Hadoop集群。我已经完成了配置和测试发射。一切看起来都很好，但是，由于我以前使用OpedJDK，根据我所读到的内容，它不建议作为Hadoop的VM，所以我决定用Oracle Server JVM替换它。删除了旧的java与Yum的安装，以及/usr/lib中的所有java文件夹，安装了最新版本的Oracle JVM，更新了PATH和JAVA_HOME变量；然而，现在在发布上，我得到了以下按摩师：

sed: -e expression #1, char 6: unknown option to `s'
64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known
HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known
Server: ssh: Could not resolve hostname Server: Name or service not known
VM: ssh: Could not resolve hostname VM: Name or service not known

E.T.C.（总共大约有20-30个字符串，其中的单词不应该与主机名有任何共同之处）

在我看来，它似乎试图将部分代码作为主机名传递，因为在启动脚本中不正确地使用了sed：

        if [ "$HADOOP_SLAVE_NAMES" != '' ] ; then
  SLAVE_NAMES=$HADOOP_SLAVE_NAMES
else
  SLAVE_FILE=${HADOOP_SLAVES:-${HADOOP_CONF_DIR}/slaves}
  SLAVE_NAMES=$(cat "$SLAVE_FILE" | sed  's/#.*$//;/^$/d')
fi

# start the daemons
for slave in $SLAVE_NAMES ; do
 ssh $HADOOP_SSH_OPTS $slave $"${@// /\\ }" \
   2>&1 | sed "s/^/$slave: /" &
 if [ "$HADOOP_SLAVE_SLEEP" != "" ]; then
   sleep $HADOOP_SLAVE_SLEEP
 fi
done

它看起来没有变化，所以问题是：JVM的变化会如何影响SED？我怎么能修好它？

Answer 1

所以我找到了这个问题的答案：我的猜测是错误的，sed的一切都很好。然而，问题在于Oracle JVM与OpenJDK相比如何使用外部库。它确实在脚本不期望的地方抛出了异常，并破坏了整个sed输入。您可以通过添加以下系统变量来修复它:HADOOP_COMMON_LIB_NATIVE_DIR，它应该指向Hadoop安装的/lib/native文件夹，并将-djava.library.path=/opt/Hadoop/lib添加到HADOOP_OPTS变量中已经有的任何选项中（注意/opt/Hadoop是我的安装文件夹，您可能需要更改它才能正常工作）。我亲自将导出命令添加到hadoop-env.sh脚本中，但将其添加到.bash文件或start-all.sh中也可以。