不能管道两个hadoop命令？

Question

我想运行以下命令：

hadoop fs -ls hdfs:///logs/ | grep -oh "/[^/]*.gz" | grep -oh "[^/]*.gz" | hadoop fs -put - hdfs:///unzip_input/input

ssh -i /home/USER/keypair.pem [e-mail] hadoop fs -ls hdfs:///logs/ | grep -oh "/[^/]*.gz" | grep -oh "[^/]*.gz" | hadoop fs -put - hdfs:///unzip_input/input

zsh: command not found: hadoop

ssh -i /home/USER/keypair.pem [e-mail] hadoop fs -ls hdfs:///logs/ | grep -oh "/[^/]*.gz" | grep -oh "[^/]*.gz"

通过一些搜索，我发现这可能是由于没有设置JAVA_HOME的错误，但它在主节点的~/.bashrc中设置正确

hadoop clustter是一个Amazon Elastic Map Reduce集群。

Answer 1

只有管道命令链的第一个命令才能在reomte主机上执行。其余的在本地发生在您的计算机上。因此，当然，如果您没有安装hadoop，zsh将打印出一条错误消息（否则，它只会将其放到本地hadoop上，这可能不是您想要的。

要将所有命令传递给ssh，可以将它们放在引号“”或单引号“”中：

ssh -i /home/USER/keypair.pem [e-mail] 'hadoop fs -ls hdfs:///logs/ | grep -oh "/[^/]*.gz" | grep -oh "[^/]*.gz" | hadoop fs -put - hdfs:///unzip_input/input'