带dask sel的xarray速度很慢

Question

使用xarray的open_mfdataset打开一系列大约90个netCDF文件，每个文件大约27MB，加载一个小的时空选择需要很长时间。

分块维度产生边际收益。decode_cf=True在函数内部或单独都没有区别。这里还有一个建议https://groups.google.com/forum/#!topic/xarray/11lDGSeza78让我将所选内容另存为一个单独的netCdf并重新加载。

当dask部分必须做一些工作（加载、计算、转换为数据帧）时，这似乎是一个瓶颈。

使用dask.visualize生成图形会生成一个巨大的图像。它可能告诉我们一些事情，但我不知道如何解释。

wind = xr.open_mfdataset(testCCMPPath,\
                         decode_cf=True,\
                         chunks={'time': 100,\
                                 'latitude': 100,\
                                 'longitude': 100})
%timeit wind.sel(latitude=latRange, longitude=windLonRange, time=windDateQueryRange).load()

wxr = wind.sel(latitude=latRange, longitude=windLonRange, time=windDateQueryRange)
df = wxr.to_dataframe()
print(df.shape)

输出显示的时间

每个回路1.93 s±29.8 ms（7次运行的平均值±标准偏差，每个回路1次）

df.shape输出仅为164x3。

对于另一个xr阵列，我有一个类似的sel，得到的时间大约为.05秒，但是这有很多稀疏点。wind xr阵列几乎没有空格。

Answer 1

事实证明，文件数量太多，dask无法有效处理。

这些文件具有纬度、经度和时间维度。在本例中，时间的粒度为3小时。我使用的时间刻度使我能够处理大约35000个文件。太多了，达斯克无法处理。我通过每年合并文件来解决这个问题，将.nc文件的数量减少到12个。

CDO（气候数据操作员）是一个让我们能够快速合并文件的实用程序。看[https://www.unidata.ucar.edu/software/netcdf/software.html#CDO][1] 更多细节。

我如何使用cdo的一个例子是：对于目录中的一组文件。

cdo cat ./precip/2004/*.nc4 2004.nc

从那以后，xr.open_mfdataset（）的表现要好得多。