如何在磁盘上的适当位置创建一个numpy .npy文件？

Question

是否可以创建一个.npy文件而无需先在内存中分配相应的数组？

我需要创建和使用大型numpy数组，而该数组太大而无法在内存中创建。Numpy支持内存映射，但据我所知，我的选择是：

1. 使用numpy.memmap创建一个映射文件。这将直接在磁盘上创建文件而不分配内存，但是不存储元数据，因此当我稍后重新映射文​​件时，我需要知道其dtype，shape等。在下面，请注意未指定形状结果在内存映射中被解释为平面数组：

   In [77]: x=memmap('/tmp/x', int, 'w+', shape=(3,3))
   

   In [78]: x
   Out[78]:
   memmap([[0, 0, 0],
   [0, 0, 0],
   [0, 0, 0]])
   
   

   In [79]: y=memmap(‘/tmp/x’, int, ‘r’)

   In [80]: y
   Out[80]: memmap([0, 0, 0, 0, 0, 0, 0, 0, 0])

2. 在内存中创建一个数组，使用numpy.save保存，然后可以以映射模式加载它。这会将元数据与阵列数据一起记录在磁盘上，但是要求为整个阵列至少分配一次内存。

Answer 1

我有同样的问题，当我阅读Sven的答复时感到失望。如果您无法在文件上拥有大量数组并且一次只处理其中的小块，似乎numpy会缺少某些关键功能。您的案例似乎与采用.npy格式的原始用例之一接近（请参阅：http ://svn.scipy.org/svn/numpy/trunk/doc/neps/npy-format.txt ）。

然后，我遇到了numpy.lib.format，它似乎是完全有用的东西。我不知道为什么从numpy根软件包中无法使用此功能。与HDF5相比，关键优势在于它附带了numpy。

>>> print numpy.lib.format.open_memmap.__doc__

"""
Open a .npy file as a memory-mapped array.

This may be used to read an existing file or create a new one.

Parameters
----------
filename : str
    The name of the file on disk. This may not be a filelike object.
mode : str, optional
    The mode to open the file with. In addition to the standard file modes,
    'c' is also accepted to mean "copy on write". See `numpy.memmap` for
    the available mode strings.
dtype : dtype, optional
    The data type of the array if we are creating a new file in "write"
    mode.
shape : tuple of int, optional
    The shape of the array if we are creating a new file in "write"
    mode.
fortran_order : bool, optional
    Whether the array should be Fortran-contiguous (True) or
    C-contiguous (False) if we are creating a new file in "write" mode.
version : tuple of int (major, minor)
    If the mode is a "write" mode, then this is the version of the file
    format used to create the file.

Returns
-------
marray : numpy.memmap
    The memory-mapped array.

Raises
------
ValueError
    If the data or the mode is invalid.
IOError
    If the file is not found or cannot be opened correctly.

See Also
--------
numpy.memmap
"""