Numpy数组的Python内存使用

Question

我正在使用python来分析一些大文件，我遇到了内存问题，所以我一直在使用sys.getsizeof（）来尝试跟踪使用情况，但是它在Numpy数组中的行为很奇怪。这里有一个例子，涉及到我必须打开的反照率地图：

>>> import numpy as np
>>> import struct
>>> from sys import getsizeof
>>> f = open('Albedo_map.assoc', 'rb')
>>> getsizeof(f)
144
>>> albedo = struct.unpack('%df' % (7200*3600), f.read(7200*3600*4))
>>> getsizeof(albedo)
207360056
>>> albedo = np.array(albedo).reshape(3600,7200)
>>> getsizeof(albedo)
80

数据仍然存在，但是对象的大小，一个3600x7200像素的映射，已经从200 Mb变为80字节。我希望我的内存问题结束，把所有的东西都转换成numpy数组，但我觉得这种行为，如果是真的，会在某种程度上违反信息理论或热力学定律，或者其他什么，所以我倾向于相信getsizeof（）不适用于numpy数组。有什么想法吗？

Answer 1

在python笔记本中，我经常想过滤掉“悬挂”的numpy.ndarray，特别是那些存储在_1、_2等中的，这些东西从来都不是真正的活着的。

我使用这个代码来获得所有它们的列表和它们的大小。

不确定这里是locals（）还是globals（）更好。

import sys
import numpy
from humanize import naturalsize

for size, name in sorted(
    (value.nbytes, name)
    for name, value in locals().items()
    if isinstance(value, numpy.ndarray)):
  print("{:>30}: {:>8}".format(name, naturalsize(size)))

Answer 2

nbytes字段将给出numpy.array中数组所有元素的字节大小：

size_in_bytes = my_numpy_array.nbytes

请注意，这并不度量“数组对象的非元素属性”，因此以字节为单位的实际大小可以比这个大几个字节。

Answer 3

您可以使用数组。n字节用于numpy阵列，例如：

>>> import numpy as np
>>> from sys import getsizeof
>>> a = [0] * 1024
>>> b = np.array(a)
>>> getsizeof(a)
8264
>>> b.nbytes
8192