从熊猫列中删除非ASCII字符

Question

我已经尝试解决这个问题一段时间了，我试图从DB_user列中删除非ASCII字符并尝试将它们替换为空格。但是我不断出错。这是我的数据框的外观：

+ ------------------------------------------------- ----------
| DB_user源计数|                                             
+ ------------------------------------------------- ----------
| ??? /“Ò| Z？）？] ?? C％?? JA 10 |                                       
| ？D $ ZGU; @D ?? _ ??? T（？）B 3 |                                       
| Q`H ?? M'？Y ?? KTK $？Ù‹???ЩJL4 ?? *？_ ?? C 2 |                                        
+ ------------------------------------------------- ----------

我正在使用此功能，这是我在研究SO问题时遇到的。

def filter_func(string):
   for i in range(0,len(string)):


      if (ord(string[i])< 32 or ord(string[i])>126
           break

      return ''

And then using the apply function:

df['DB_user'] = df.apply(filter_func,axis=1)

我不断收到错误：

'ord（）需要一个字符，但找到了长度为66的字符串'，u'发生在索引2'

但是，我认为通过使用filter_func函数中的循环，可以通过在’ord’中输入一个char来解决这个问题。因此，当它遇到非ASCII字符时，应将其替换为空格。

有人可以帮我吗？

谢谢！

Answer 1

您的代码失败，因为您没有将其应用于每个字符，您将其应用于每个单词和ord错误，因为它需要一个字符，您将需要：

  df['DB_user'] = df["DB_user"].apply(lambda x: ''.join([" " if ord(i) < 32 or ord(i) > 126 else i for i in x]))

您还可以使用链式比较简化连接：

   ''.join([i if 32 < ord(i) < 126 else " " for i in x])

您还可以使用string.printable过滤字符：

from string import printable
st = set(printable)
df["DB_user"] = df["DB_user"].apply(lambda x: ''.join([" " if  i not in  st else i for i in x]))

最快的是使用翻译：

from string import maketrans

del_chars =  " ".join(chr(i) for i in range(32) + range(127, 256))
trans = maketrans(t, " "*len(del_chars))

df['DB_user'] = df["DB_user"].apply(lambda s: s.translate(trans))

有趣的是，它比：

  df['DB_user'] = df["DB_user"].str.translate(trans)