以追加模式保存numpy数组

Question

是否可以保存一个numpy数组，将其附加到已经存在的npy文件中—类似于np.save(filename,arr,mode='a')？

我有几个函数必须遍历大型数组的行。由于内存限制，我无法立即创建数组。为了避免一遍又一遍地创建行，我想创建每行一次并将其保存到文件中，然后将其追加到文件的上一行中。稍后，我可以在mmap_mode中加载npy文件，并在需要时访问切片。

Answer 1

内置.npy文件格式非常适合处理小型数据集，而无需依赖外部模块numpy。

但是，当您开始拥有大量数据时，首选使用旨在处理此类数据集的文件格式（例如HDF5

例如，以下是numpy使用PyTables在HDF5中保存数组的解决方案，

步骤1：创建可扩展EArray存储

import tables
import numpy as np

filename = 'outarray.h5'
ROW_SIZE = 100
NUM_COLUMNS = 200

f = tables.open_file(filename, mode='w')
atom = tables.Float64Atom()

array_c = f.create_earray(f.root, 'data', atom, (0, ROW_SIZE))

for idx in range(NUM_COLUMNS):
    x = np.random.rand(1, ROW_SIZE)
    array_c.append(x)
f.close()

步骤2：将行追加到现有数据集（如果需要）

f = tables.open_file(filename, mode='a')
f.root.data.append(x)

步骤3：读回一部分数据

f = tables.open_file(filename, mode='r')
print(f.root.data[1:10,2:20]) # e.g. read from disk only this part of the dataset