在xarray中导入和解码数据集以避免冲突的_FillValue和缺少的_value

Question

使用xarray open_数据集或open_mfdataset加载NARR netcdf数据集时（例如。ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/air.2m.2010.nc)，xarray返回关于“冲突的_FillValue和缺少的_值”的错误。

进入：

xarray.open_datasetair.2m.2010.nc

产生以下错误：

发现冲突的_FillValue和missing_value。考虑使用decode_cf=False打开违规数据集，纠正属性，并使用xray.conventions.decode_cf（ds））显式解码

当使用建议以这样的方式打开时：

ds=xarray.open_dataset（'air.2m.2010.nc'，decode_cf=False），

数据集已打开，但变量、时间、坐标等未解码（显然）。显式使用xarray.decode\u cf（ds）似乎无助于成功解码数据集，因为遇到了相同的错误。

我认为出现这个错误是因为NARR数据集是一个Lambert共形，所以由于网格的形状，当它被xray打开时，会有一些缺失的值，出于某种原因，这与填充值相冲突。

在xarray中打开和解码此文件的最佳方式是什么？

注意：我已经能够使用netcdf4 python打开和解码，但我希望能够在xarray中这样做，以利用dask提供的核心外计算html" target="_blank">功能。

Answer 1

我能够解决来自同一来源和xarray的NARR数据的类似问题，但只针对时间变量。我没有其他变量的问题。

我确信有更简单的方法来做到这一点（我在python xray还是个新手），但是我最终从我感兴趣的数据集中获取了时间变量和值，创建了一个新的数据集并“解码”了时间，然后在我感兴趣的原始数据集中更新时间变量和值。

test = xr.open_mfdataset(r'evap*nc',decode_cf=False)

t_unit = test.variables['time'] 
t_unit.attrs['units']
#u'hours since 1800-1-1 00:00:0.0'

attrs = {'units': 'hours since 1800-01-01'}
ds = xr.Dataset({'time': ('time', t_unit, attrs)})
ds = xr.decode_cf(ds)

test.update({'time':('time', ds['time'])})

如果你找到更简单的方法，请告诉我！我目前使用的另一个来源的研究数据集没有这个问题，但是我很好奇其他人是如何用ESRL NARR数据解决这个问题的。

Answer 2

此问题已在较新版本的xarray中修复。使用版本0.12，我得到以下信息

>>> ds = xr.open_dataset('air.2m.2010.nc')
.../conventions.py:394: SerializationWarning: variable 'air' has multiple fill values {9.96921e+36, -9.96921e+36}, decoding all values to NaN.

换句话说，它会引发警告，但不会引发错误，并成功地将掩码应用于两个缺少的值。

因此，您的问题可以通过升级到更新版本的xarray来解决。