为什么要在8GB内存的macOS计算机上使用352GB NumPy ndarray？

Question

import numpy as np

array = np.zeros((210000, 210000)) # default numpy.float64
array.nbytes

当我在装有macOS的8GB内存MacBook上运行上述代码时，不会发生任何错误。但是，如果在装有Windows
10的16GB内存PC，12GB内存的Ubuntu笔记本电脑甚至是128GB内存的Linux超级计算机上运行相同的代码，Python解释器将引发MemoryError。所有测试环境都安装了64位Python
3.6或3.7。

Answer 1

@MartijnPieters的答案是正确的，但并不完全正确：这与内存压缩无关，而与虚拟内存有关。

例如，尝试在计算机上运行以下代码：

arrays = [np.zeros((21000, 21000)) for _ in range(0, 10000)]

这段代码分配了32TiB的内存，但是您不会收到错误消息（至少在Linux上没有）。如果我检查htop，则会看到以下内容：

  PID USER      PRI  NI  VIRT   RES   SHR S CPU% MEM%   TIME+  Command
31362 user       20   0 32.1T 69216 12712 S  0.0  0.4  0:00.22 python

这是因为OS完全愿意在虚拟内存上过量使用。除非需要，否则它实际上不会将页面分配给物理内存。它的工作方式是：

• calloc 要求操作系统使用一些内存
• 操作系统在进程的页表中查找并找到愿意分配的内存块。这是快速的操作，操作系统仅将内存地址范围存储在内部数据结构中。
• 程序将写入其中一个地址。
• 操作系统收到页面错误，这时它看起来并实际将页面分配给物理内存。一个页面通常只有几KiB的大小。
• 操作系统将控制权交还给程序，程序继续执行而没有注意到中断。

创建单个大数组在Linux上不起作用，因为默认情况下，“采用启发式算法来确定是否有足够的内存”。（感谢@Martijn
Pieters！）在我的系统上进行的一些实验表明，对于我来说，内核不愿意提供比0x3BAFFFFFF字节更多的内容。但是，如果我运行echo 1 | sudo tee /proc/sys/vm/overcommit_memory，然后再次在OP中尝试该程序，则效果很好。

为了娱乐，请尝试运行arrays = [np.ones((21000, 21000)) for _ in range(0, 10000)]。您肯定会遇到内存不足错误，即使是在MacO或具有交换压缩功能的Linux上也是如此。是的，某些操作系统可以压缩RAM，但无法将其压缩到不会耗尽内存的水平。