dtype对象的Numpy数组对于sys具有截然不同的值。getsizeof（）和n字节

Question

我有一个名字的样本数据集。它是一个csv文件，有两列，每列200行。两列都包含随机名称。我有以下代码将csv文件加载到pandas数据帧中，将数据帧转换为numpy数组，然后将numpy数组转换为标准python列表。代码如下：

x_df = pd.read_csv("names.csv")
x_np = x_df.to_numpy()
x_list = x_np.tolist()

print("Pandas dataframe:")
print('Using sys.getsizeof(): {}'.format(sys.getsizeof(x_df)))
print('Using pandas_df.memory_usage(): {}'.format(x_df.memory_usage(index=True, deep=True).sum()))

print('\nNumpy ndarray (dtype: {}):'.format(x_np.dtype))
print('Using sys.getsizeof(): {}'.format(sys.getsizeof(x_np)))
print('Using ndarray.nbytes: {}'.format(x_np.nbytes))
total_mem = 0
for row in x_np:
    for name in row:
        total_mem += sys.getsizeof(name)
print('Using sys.getsizeof() on each element in np array: {}'.format(total_mem))

print('\nStandard list:')
print('Using sys.getsizeof(): {}'.format(sys.getsizeof(x_list)))
total_mem = sum([sys.getsizeof(x) for sublist in x_list for x in sublist])
print('Using sys.getsizeof() on each element in list: {}'.format(total_mem))

该代码的输出如下：

Pandas dataframe:
Using sys.getsizeof(): 25337
Using pandas_df.memory_usage(): 25305

Numpy ndarray (dtype: object):
Using sys.getsizeof(): 112
Using ndarray.nbytes: 3200
Using sys.getsizeof() on each element in np array: 21977

Standard list:
Using sys.getsizeof(): 1672
Using sys.getsizeof() on each element in list: 21977

我想我明白了，对于标准的python列表，为什么sys.getsizeof（）与在列表的每个元素上使用sys.getsizeof（）相比是如此的小整体只显示列表对象，其中包含对列表元素的引用。

同样的逻辑适用于Numpy数组吗？与列表相比，数组上的nbytes的值为什么这么小？Numpy是否具有出色的内存管理，或者Numpy数组是否由引用而不是实际对象组成？如果Numpy数组由引用组成，而不是实际对象，这是否适用于所有dtype？或者只是对象dtype？

Answer 1

包含字符串的数据框将是对象dtype。

22008（每个指针8个字节）是3200，数组nbytes。112只是数组对象的大小（形状、步幅等），而不是数据缓冲区。显然，它是x_df用来存储其引用的数组的视图。

熊猫数据存储比numpy更复杂，但显然，如果跨列的数据类型是统一的，那么它确实使用了2dndarray。我不知道getsizeof和memory\u usage（使用这些参数）是如何工作的，尽管数字表明它们是相同的。

枚举大小表明字符串元素的平均长度为6-7字节。这对于unicode来说似乎很小，但您还没有告诉我们这些“随机名称”。

枚举列表的作用显然与numpy枚举相同。我有点惊讶，1672比3200小得多，好像列表的指针数组包含4字节指针而不是8字节指针。