Numpy ndarray对象比列表大得多

Question

我现在更详细地讨论了numpy数组。你总是读到numpyndarray使用更少的内存，但是如果你看一下总内存消耗，就会发现ndarray比列表中的要大得多。

在列表中，我们有28字节大小的int对象，但在numpy数组中，我们有numpy。int64大小为32字节的对象。

所以我不明白为什么他们说numpy对象使用更少的内存，因为numpy。int64对象比int对象大四个字节。

import numpy as np

from sys import getsizeof

def is_iterable(p_object):
    try:
        iter(p_object)
    except TypeError: 
        return False
    return True

def get_total_size(element, size):
  if not is_iterable(element):
    return size + getsizeof(element)
  size = size + getsizeof(element)
  for new_element in element:
    size = get_total_size(new_element, size)
  return size


if __name__ == "__main__":
  x_list = list(range(100))
  x_array = np.array(x_list)


  print("x_list:")
  print("A list with object references consumes in memory " + str(getsizeof(x_list)) + " Byte(s)")
  print("A list of object references and all objects consumed in memory " + str(get_total_size(x_list, 0)) + " Byte(s)")

  print("")

  print("Numpy-Array:")
  print("A ndarray object references consumes in memory " + str(getsizeof(x_array)) + " Byte(s)")
  print("A ndarray of object references and all objects consumed in memory  " + str(get_total_size(x_array, 0)) + " Byte(s)")

print("")
print("objecttype", type(x_array[1]), "size in bytes", getsizeof(x_array[1]), )
print("objecttype", type(x_list[1]), "size in bytes", getsizeof(x_list[1]), )

输出：

x_list:
A list with object references consumes in memory 1016 Byte(s)
A list of object references and all objects consumed in memory 3812 Byte(s)

Numpy-Array:
A ndarray object references consumes in memory 896 Byte(s)
A ndarray of object references and all objects consumed in memory  4096 Byte(s)

objecttype <class 'numpy.int64'> size in bytes 32
objecttype <class 'int'> size in bytes 28




Answer 1

In [144]: alist = list(range(100))
In [145]: getsizeof(alist)
Out[145]: 856

大多数getsizeof问题只使用这个基数，而忽略了引用。

In [146]: get_total_size(alist,0)
Out[146]: 3652

单个整数的大小可能不同：

In [148]: getsizeof(50)
Out[148]: 28
In [149]: getsizeof(220000000000000000)
Out[149]: 32

100*28856=3656足够近。小于256的整数是预先分配的，因此您的列表不会将这些整数添加到总内存使用量中。但这只是一个小细节。

对于数组，使用数字dtype，我们不需要检查不存在的“引用”

In [152]: arr = np.array(alist)
In [153]: getsizeof(arr)
Out[153]: 904
In [154]: arr.nbytes
Out[154]: 800

它的数据缓冲区中有800字节，大约100字节用于“开销”。这是100*8，每个int64数字有8个字节。其他数据类型可能具有不同的元素大小。

对于对象数据类型数组，添加引用很重要：

In [155]: arr = np.array(alist,object)
In [156]: getsizeof(arr)
Out[156]: 904
In [158]: get_total_size(arr,0)
Out[158]: 3700     # 2800+900

这个数组引用了与ist相同的int。

您在数字数据类型数组上的get_total_size发现

In [164]: getsizeof(np.int64(50))
Out[164]: 32

但是数组不会“存储”其中的100个。这32是其值的8个字节和24的开销。这是“未装箱”对象，而不是存储值。