如何将pandas Dataframe，Python3.x中的“字节”对象转换为文字字符串？

Question

我有一个Python3.x pandas DataFrame，其中某些列是用字节表示的字符串（例如在Python2.x中）

import pandas as pd
df = pd.DataFrame(...)
df
       COLUMN1         ....
0      b'abcde'        ....
1      b'dog'          ....
2      b'cat1'         ....
3      b'bird1'        ....
4      b'elephant1'    ....

当我按列访问时df.COLUMN1，我看到Name: COLUMN1, dtype: object

但是，如果按元素访问，则它是一个“字节”对象

df.COLUMN1.ix[0].dtype
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'bytes' object has no attribute 'dtype'

如何将它们转换为“常规”字符串？也就是说，如何摆脱这个b''前缀？

Answer 1

您可以使用向量化str.decode将字节字符串解码为普通字符串：

df['COLUMN1'].str.decode("utf-8")

为此，您可以仅选择str列：

str_df = df.select_dtypes([np.object])

转换所有的：

str_df = str_df.stack().str.decode('utf-8').unstack()

然后，您可以将转换后的cols与原始df cols换出：

for col in str_df:
    df[col] = str_df[col]