如何从Oozie触发的流图减少作业输出Hadoop EL计数器？

Question

我正在使用Oozie触发一个流式MapReduce作业，我想为此收集以下Hadoop EL常量：

map_in:Hadoop映射器输入记录计数器名称。

map_out:Hadoop映射器输出记录计数器名称。

reduce_in:Hadoop reducer输入记录计数器名称。

reduce_out:Hadoop reducer输入记录计数器名称。

我看到这些可以使用

${hadoop:counters('mr-action')[RECORDS][REDUCE_OUT]}

但是，我不知道如何将这些值通过STDOUT输出回屏幕，或者输出回服务器上HDFS中的文件，我正在从那里启动Oozie工作流。
我尝试将这些值传递给shell操作，然后echo/append到一个文件，但我相信这是在数据节点上处理的，所以我无法看到输出。我还尝试按照一个线程的建议将oozie.action.external.stats.write设置为true，然后html" target="_blank">调用

oozie job-Info-Verbose

但我仍然没有看到这些计数器显示在外部统计字段下。任何关于如何获得这些计数器输出的建议都将非常有帮助。

Answer 1

在我做oozie job-infojob-id-verbose之前，它不显示外部统计信息。关键是进行以下更改。

在workflow.xml文件中，在我要为其收集计数器的操作下，将以下内容添加到配置中：

<action name="mr-action">
    <configuration>
        <property>
            <name>oozie.action.external.stats.write</name>
            <value>true</value>
        </property>
    </configuration>
</action>

然后,运行作业后,在命令行中执行以下操作：

oozie job-info job-id@mr-action-verbose

这就给了我要找的柜台。