处理processElement输出为fat时的内存不足异常

Question

PCollection<KV<String, String>> rows = someData
    .apply(Combine.<String, String>perKey(new CombineUserIds()));

public static class CombineUserIds implements SerializableFunction<Iterable<String>, String> {
  private static final long serialVersionUID = 0;

  @Override
  public String apply(Iterable<String> userIdList) {
    return Joiner.on(",").join(userIdList);
  }
}

Answer 1

从Oracle文档，

线程thread_name:Java.lang.OutofMemoryError中的异常：Java堆空间

原因：详细消息Java堆空间指示无法在Java堆中分配对象。此错误并不一定意味着内存泄漏。问题可以简单到配置问题，即指定的堆大小（如果未指定，则为默认大小）不足以满足应用程序的需要。

解决方案1：增加JVM堆大小，如下所示。

您可以指定每个项目需要多少堆空间

以下是Eclipse的：

鼠标右键点击

Run As - Run Configuration - Arguments - Vm Arguments, 

然后加上这个

-Xmx1024 

或

-Xmx2048m

解决方案2（仅在尝试解决方案1之后）：

同样来自Oracle文档，

3.4.3监视等待终结的对象当用“Java堆空间”>detail消息引发OutOfMemoryError异常时，原因可能是过度使用终结器。要对此进行诊断，您可以使用几个选项来监视等待完成的对象的数量：

JConsole管理工具可用于监视等待完成的对象的数量。此工具在摘要选项卡窗格的内存统计信息中报告挂起的终结计数。这个计数是近似的，但它可以用来描述应用程序的特征，并理解它是否非常依赖于最终确定。

在Oracle Solaris和Linux操作系统上，jmap实用程序可以与-finalizerinfo选项一起使用，以打印关于等待完成的对象的信息。

应用程序可以使用java.lang.Management.MemoryMXBean类的getObjectPendingFinalizationCount方法报告待完成对象的大致数量。到API文档和示例代码的链接可以在自定义诊断工具中找到。示例代码可以很容易地扩展，以包括挂起的终结计数的报告。