在熊猫中用NaN替换空白值（空白）

Question

我想找到熊猫数据框中包含空白（任意数量）的所有值，并用NaN替换这些值。

有什么想法可以改进吗？

基本上，我想把这个转变为：

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux     

为此：

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

我已经设法做到了下面的代码，但人是丑陋的。这不是蟒蛇，我肯定这也不是对熊猫最有效的利用。我循环遍历每一列，并对应用一个函数生成的列掩码进行布尔替换，该函数对每个值进行正则表达式搜索，并在空格上进行匹配。

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

只需遍历可能包含空字符串的字段，即可对其进行一点优化：

if df[i].dtype == np.dtype('object')

但这算不上什么进步

最后，这段代码将目标字符串设置为无，这适用于Pandas的函数，如fillna（），但是如果我可以直接插入NaN而不是无，这将是完整的。

Answer 1

怎么样：

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

applymap函数将函数应用于数据帧的每个单元格。

Answer 2

如果你想用空格替换空字符串和记录，正确答案是！：

df = df.replace(r'^\s*$', np.nan, regex=True)

公认的答案

df.replace(r'\s+', np.nan, regex=True)

不替换空字符串！，您可以尝试使用稍微更新的给定示例：

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'fo o', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', ''],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

请注意，“fo o”虽然包含空格，但并未替换为Nan。进一步注意，一个简单的方法是：

df.replace(r'', np.NaN)

也不起作用-试试看。

Answer 3

我认为df.replace（）起作用，因为熊猫0.13：

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

生产：

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

正如Temak所指出的，使用df.replace（r'^\s$'，np.nan，regex=True），以防您的有效数据包含空白。