Java：通过2D浮点数（浮点数[][]）数组减少内存消耗

Question

我有Java应用程序，它集中处理2D浮动数组(float[][]数组)，实际上在黑色背景上保存图像。两个维度是相等的(平方)并且是2的幂(通常是256、512、1024)，所以靠近边界的区域在大多数情况下都是零。

为了提高性能（有一些FFT）和降低在这些阵列上操作的复杂性（如旋转等），大小等于2的幂。根据我的计算，这个应用程序的内存消耗应该达到2-3Gb，而达到4-5Gb（查看Windows任务管理器）。我使用了“YourKit”探查器，它显示这些浮点数组确实占用了大部分内存，然而，这些浮点数组的总粗略大小应该是1.3Gb（好吧，我知道如何存储数据取决于JVM，但我没有预料到内存消耗会有2-3倍的差异）。

我试图使用 Snappy 压缩器即时压缩/解压缩数据（内存消耗下降到 3.5Gb），但性能下降了几次，这不是很可以接受。此外，当用 BufferedImage 替换这些浮点数 [][] 时，我正在测试性能，但性能非常差。

因此，还有2种方法可以降低内存消耗：1）为浮点数[][]数组编写包装器，以节省“零”元素（有很多“空”行和列）2）远离“2的幂”

这两种方式都需要相当多的编码/重构，所以当我在考虑“成为或不成为”时 - 伙计们，你可能对这个问题有更好的线索吗？

谢谢！

Answer 1

经过更详细的调查 - JVM似乎以“UnlockEperimentalFeatures”和“use GC1”标志启动。结果 - 有相当多的 NOT 垃圾回收“无法访问”的 BufferedImage 栅格（其中包含 byte[] 数组）。当从“YourKit”priofiler 调用 GC 时 - 那些从堆中删除的对象（这对我来说当然是不可接受的方式，因为我期望 JVM 会自己管理堆）。

我想对所有花时间帮助我的人说声谢谢。特别感谢Jim Garrison(看起来我只是将内存需求推迟了一段时间，移除了上面提到的标志，但是当更多的数组开始运行时，购买更多的内存将是避免性能损失的最简单的方法。

Answer 2

FFT需要一个复杂的数组，其大小是实数据数组的两倍，即使在输入端从实数组转换回幅度数组也是如此。这可能是超出预期的内存使用量的两倍。

稀疏数组不适用于FFT，因为FFT中的中间步骤几乎总是填满整个复杂数组。

许多现代高性能FFT库，例如基于FFTW的FFT库，可以非常有效地处理FFT长度，而不仅仅是2次幂（任何长度只要是小素数的乘积，都可以非常有效的进行FFT）。这可以为许多尺寸节省大量2D填充。