Malloc与自定义分配器：Malloc有很多开销。为什么？

Question

我有一个图像压缩应用程序，现在有两个不同版本的内存分配系统。在最初的一个例子中，malloc无处不在，在第二个例子中，我实现了一个简单的池分配器，它只分配大块内存，并将部分内存返回给myalloc（）调用。

我们注意到，使用malloc时会产生巨大的内存开销：在内存使用量最大的时候，malloc（）代码对于1920x1080x16bpp映像需要大约170 MB的内存，而池分配器只分配48 MB，其中47 MB由程序使用。

在内存分配模式方面，程序用测试镜像分配了很多8字节（大部分）、32字节（很多）和1080字节块（一些）。除此之外，代码中没有动态内存分配。

测试系统的操作系统是Windows 7（64位）。

我们如何测试内存使用率？

使用自定义分配器，我们可以看到使用了多少内存，因为所有malloc调用都被分配器击败。使用malloc（），在调试html" target="_blank">模式下，我们只是逐步完成代码并观察任务管理器中的内存使用情况。在发布模式下，我们做了同样的事情，但没有那么细粒度，因为编译器优化了很多东西，所以我们无法逐段遍历代码（发布和调试之间的内存差异约为20MB，我将其归因于优化和发布模式下缺乏调试信息）。

难道只有malloc才是如此巨大开销的原因吗？如果是这样，是什么导致了malloc内部的这种开销？

Answer 1

警告：在Visual Studio中运行程序或连接任何调试器时，默认情况下malloc行为会发生很大变化，不会使用低碎片堆，并且内存开销可能无法代表实际使用情况（另请参阅）https://stackoverflow.com/a/3768820/16673). 您需要使用环境变量\u NO\u DEBUG\u HEAP=1，以避免受到此影响，或者测量不在调试器下运行时的内存使用情况。

Answer 2

首先malloc将指针对齐到16字节边界。此外，它们在返回值之前的地址中存储至少一个指针（或分配的长度）。然后他们可能会添加一个魔法值或释放计数器来指示链表没有损坏或内存块没有被释放两次（双重释放的免费ASSERTS）。

#include <stdlib.h>
#include <stdio.h>

int main(int ac, char**av)
{
  int *foo = malloc(4);
  int *bar = malloc(4);
  printf("%d\n", (int)bar - (int)foo);
}

返回：32

Answer 3

在Windows 7上，您将始终获得低碎片堆分配器，而无需显式调用HeapSetInformation（）来请求它。该分配器牺牲虚拟内存空间以减少碎片。你的程序实际上并没有使用170兆字节，你只是看到周围有一堆空闲的块，等待类似大小的分配。

这个算法很容易用一个不做任何减少碎片的自定义分配器来击败。这很可能适合您，尽管在您保持程序运行时间超过单个调试会话之前，您不会看到它的副作用。如果这是预期的使用模式，您确实需要确保它在几天或几周内保持稳定。

最好的办法就是不要为此而烦恼，170MB是个小问题。请记住，这是虚拟内存，不需要任何成本。