有效检查Python / numpy / pandas中是否有任意对象是NaN？

Question

我的numpy数组用于np.nan指定缺少的值。在遍历数据集时，我需要检测这些缺失值并以特殊方式处理它们。

我天真地用过numpy.isnan(val)，除非val不在所支持的类型子集中，否则它会很好地工作numpy.isnan()。例如，字符串字段中可能会出现丢失的数据，在这种情况下，我得到：

>>> np.isnan('some_string')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: Not implemented for this type

除了编写昂贵的包装来捕获异常并返回外False，还有没有办法优雅而有效地处理此包装？

Answer 1

pandas.isnull()（也是pd.isna()，在较新的版本中）检查数字数组和字符串/对象数组中的缺失值。从文档中，它检查：

数字数组中的NaN，对象数组中的None / NaN

快速示例：

import pandas as pd
import numpy as np
s = pd.Series(['apple', np.nan, 'banana'])
pd.isnull(s)
Out[9]: 
0    False
1     True
2    False
dtype: bool

numpy.nan用来表示缺失值的想法是pandas引入的，这就是为什么pandas有工具来处理它的原因。

日期时间也是如此（如果使用pd.NaT，则无需指定dtype）

In [24]: s = Series([Timestamp('20130101'),np.nan,Timestamp('20130102 9:30')],dtype='M8[ns]')

In [25]: s
Out[25]: 
0   2013-01-01 00:00:00
1                   NaT
2   2013-01-02 09:30:00
dtype: datetime64[ns]``

In [26]: pd.isnull(s)
Out[26]: 
0    False
1     True
2    False
dtype: bool