是否可以序列化包含指向文件的惰性dask数组数据的xarray DataArray？

Question

我已经从多个源hdf5文件构建了一个巨大的dask阵列。

假设数据仅来自一个hdf5文件：

import dask.array as da
import h5py
import xarray as xr

h5_data = h5py.File(path_to_file, "r")
dask_arr = da.from_array(h5_data, chunks=chunksize)

然后，我将dask数组中的（惰性）片段排列到一个xarray数据集中

xr_data = xr.DataArray(dask_arr[0:1000])
# Note: In reality, xr_data and dask[0:1000] aggregation is much more complex and needs quite long to process

现在我想序列化xr_data对象，所以我不需要每次都计算它。

xArray DataArray中的数据通过dask懒惰地映射到hdf5文件。我怎么连载（咸菜？Netcdf？...）能够在“懒惰映射”持续存在的情况下重新加载x数组对象？

谢谢你在外面！

Answer 1

一般来说，你应该能够做到这一点。Dask和Xarray对象都是可拾取的。这将把图形序列化为字节，然后写入文件。

但是，在您的特定情况下，此图包含h5py。数据集对象，不幸的是，它们是不可序列化的。

xarrayopen_dataset方法以各种方式解决了这个问题。如果可以将它们与各种concat调用一起使用，那么我认为这可能是最好的选择，而不是直接使用h5py.Dataset对象。