Numpy内存错误创建巨大的矩阵

Question

我正在使用numpy并尝试创建一个巨大的矩阵。这样做时，我收到内存错误

由于矩阵并不重要，因此我将向您展示如何轻松重现错误的方法。

a = 10000000000
data = np.array([float('nan')] * a)

毫不奇怪，这把我扔了 MemoryError

我想讲两件事：

1. 我真的需要创建和使用一个大矩阵
2. 我认为我有足够的RAM来处理此矩阵（我有24 Gb或RAM）

有没有一种简单的方法可以处理numpy中的大型矩阵？

为了安全起见，我之前阅读过这些帖子（听起来很相似）：

使用Python和NumPy的超大型矩阵

Python / Numpy
MemoryError

PS显然我在数的乘法和除法 方面 存在一些问题 ，这使我认为我有足够的内存。所以我认为是时候该睡觉了，复习数学，也许是买些记忆。

也许是在这段时间里，一些天才可能提出了如何仅使用24 Gb Ram实际创建此矩阵的想法。

为什么我需要这个大矩阵，
所以我不会对该矩阵做任何操作。我需要做的就是将其保存到pytables中。

Answer 1

假设每个浮点数均为4个字节，您将拥有

(10000000000 * 4) /(2**30.0) = 37.25290298461914

或需要在内存中存储37.5 GB。所以我认为24gb的RAM是不够的。