Hadoop截断/计数器名称不一致

Question

现在，我有一个Hadoop作业，它创建了一个很大名称的计数器。

例如，下面的一个：stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-innon-standard-limits。此计数器在web界面和getName()方法调用上被截断。我发现Hadoop对计数器最大名称有限制，这个设置idmapreduce.job.counters.counter.name.max用于配置这个限制。因此我将其增加到500，web界面现在显示完整的计数器名称。但是计数器的getName()仍然返回截断的名称。

谁能解释一下或者指出我的错误吗？谢谢.

编辑%1

我的Hadoop服务器配置由一个带有HDFS、YARN和map-reduce自身的服务器组成。在map-reduce期间，会有一些计数器增量，作业完成后，在ToolRunner中，我使用org.apache.hadoop.mapreduce.job#GetCounters获取计数器。

编辑2

Hadoop版本如下：

Hadoop 2.6.0-cdh5.8.0
Subversion http://github.com/cloudera/hadoop -r 042da8b868a212c843bcbf3594519dd26e816e79 
Compiled by jenkins on 2016-07-12T22:55Z
Compiled with protoc 2.5.0
From source with checksum 2b6c319ecc19f118d6e1c823175717b5
This command was run using /usr/lib/hadoop/hadoop-common-2.6.0-cdh5.8.0.jar

我做了一些额外的调查，似乎这个问题描述了一个类似于我的情况。但这是相当混乱的，因为我可以增加计数器的数量，但不能增加计数器名称的长度...

编辑3

今天，我花了很多时间调试Hadoop的内部。一些有趣的东西：

1. org.apache.hadoop.mapred.clientServiceDelegate#GetJobCounters方法返回一组来自yarn的计数器，这些计数器具有截断的名称和完整的显示名称。
2. 无法调试映射和还原程序本身，但在日志记录的帮助下，org.apache.hadoop.mapreduce.counter#getName方法似乎在还原程序执行期间可以正常工作。

Answer 1

getName()似乎不推荐使用

或者，可以使用默认最大长度为255的getURI()。

文档链接:getURI()

没有亲自尝试过，但它似乎是解决这个问题的一个可能方法。

Answer 2

Hadoop代码中没有在初始化后截断计数器名称的内容。因此，正如您已经指出的，mapreduce.job.counters.counter.name.max控制计数器名称的最大长度（默认值为64个符号）。

在调用AbstractCounterGroup.AddCounter/FindCounter时应用此限制。各自的源代码如下：

@Override
public synchronized T addCounter(String counterName, String displayName,
                                 long value) {
  String saveName = Limits.filterCounterName(counterName);
  ...

实际上：

public static String filterName(String name, int maxLen) {
  return name.length() > maxLen ? name.substring(0, maxLen - 1) : name;
}

public static String filterCounterName(String name) {
  return filterName(name, getCounterNameMax());
}

如您所见，计数器的名称相对于mapreduce.job.counters.max被截断保存。反过来，Hadoop代码中只有一个地方执行对limits.init(Configuration conf)的调用（从LocalContainerLauncher类调用）：

class YarnChild {

  private static final Logger LOG = LoggerFactory.getLogger(YarnChild.class);

  static volatile TaskAttemptID taskid = null;

  public static void main(String[] args) throws Throwable {
    Thread.setDefaultUncaughtExceptionHandler(new YarnUncaughtExceptionHandler());
    LOG.debug("Child starting");

    final JobConf job = new JobConf(MRJobConfig.JOB_CONF_FILE);
    // Initing with our JobConf allows us to avoid loading confs twice
    Limits.init(job);

我认为您需要执行以下步骤来解决您观察到的计数器名称问题：

1. 调整mapreduce.job.counters.counter.name.max配置值
2. 重新启动纱/MapReduce服务
3. 重新运行作业

我想，您仍然会看到旧作业的截断计数器名称。