Java中的零垃圾大字符串反序列化，庞大的对象问题

Question

我正在寻找一种方法，在Java中从字节[]反序列化字符串，并尽可能少地产生垃圾。因为我正在创建自己的序列化程序和反序列化程序，所以我可以完全自由地在服务器端（即序列化数据时）和客户端（即反序列化数据时）实现任何解决方案。

我已经设法通过遍历String的字符（String.charAt（i））并将每个char（16位值）转换为2x 8位值，从而有效地序列化了String，而不会产生任何垃圾开销。这里有一个很好的争论。另一种选择是使用反射直接访问String的底层char[]，但这超出了问题的范围。

然而，如果不创建两次char[]，我似乎不可能反序列化byte[]，这看起来很奇怪。

程序如下：

1. 创建char[]

由于Java的String不变性规则，构造函数复制char[]，从而产生2倍的GC开销。我总是可以使用一些机制来规避这个问题（不安全的String分配反射来设置char[]实例），但我只是想问一下，除了打破String的不变性的每一个约定之外，是否还有其他后果。

当然，对这一点最明智的回应是“来吧，停止这样做，相信GC，原来的char[]将非常短暂，G1将立即摆脱它”，如果char[]小于G1区域大小的1/2，这实际上是有道理的。如果较大，char[]将被直接分配为一个巨大的对象（即自动传播到G1区域之外）。在G1中，这样的对象很难被有效地垃圾收集。这就是为什么每次分配都很重要。

对如何解决这个问题有什么想法吗？

非常感谢。

Answer 1

找到了一个使用简单的“秘密”本机Java库的有效解决方案：

String longString = StringUtils.repeat("bla", 1000000);
char[] longArray = longString.toCharArray();
String fastCopiedString = SharedSecrets.getJavaLangAccess().newStringUnsafe(longArray);

Answer 2

我找到了一个解决方案，如果你有一个非托管的环境，它是无用的。

java。lang.String类有一个包私有构造函数String（char[]值，布尔共享）。

来源：

/*
* Package private constructor which shares value array for speed.
* this constructor is always expected to be called with share==true.
* a separate constructor is needed because we already have a public
* String(char[]) constructor that makes a copy of the given char[].
*/
String(char[] value, boolean share) {
    // assert share : "unshared not supported";
    this.value = value;
}

这在Java中被广泛使用，例如在Integer中。toString（），长。toString（），字符串。concat（字符串），字符串。替换（char，char），字符串。valueOf（char）。

解决方案（或hack，无论你想怎么称呼它）是将类移动到java.lang包并访问包私有构造函数。这对安全管理器来说不是好兆头，但这可以规避。

Answer 3

在G1中，这样的对象很难被有效地垃圾收集。

这可能不再是真的，但您必须为自己的应用程序评估它。JDK Bugs 8027959和8048179引入了收集巨大、短暂对象的新机制。根据错误标志，您可能必须使用jdk版本≥8u40和≥8u60才能获得各自的好处。

感兴趣的实验选项：

-XX:+G1ReclaimDeadHumongousObjectsAtYoungGC

追踪：

-XX:+G1TraceReclaimDeadHumongousObjectsAtYoungGC

有关这些功能的进一步建议和问题，我建议点击热点gc使用邮件列表。