有效替换不良字符

Question

我经常使用包含以下字符的utf-8文本：

\ xc2 \ x99

\ xc2 \ x95

\ xc2 \ x85

等等

这些字符使我使用的其他库感到困惑，因此需要替换。

什么是有效的方法，而不是：

text.replace('\xc2\x99', ' ').replace('\xc2\x85, '...')

Answer 1

总是有正则表达式；只需在方括号内列出所有令人反感的字符，如下所示：

import re
print re.sub(r'[\xc2\x99]'," ","Hello\xc2There\x99")

打印：’Hello There’，用空格替换不需要的字符。

或者，如果每个字符都有不同的替换字符：

# remove annoying characters
chars = {
    '\xc2\x82' : ',',        # High code comma
    '\xc2\x84' : ',,',       # High code double comma
    '\xc2\x85' : '...',      # Tripple dot
    '\xc2\x88' : '^',        # High carat
    '\xc2\x91' : '\x27',     # Forward single quote
    '\xc2\x92' : '\x27',     # Reverse single quote
    '\xc2\x93' : '\x22',     # Forward double quote
    '\xc2\x94' : '\x22',     # Reverse double quote
    '\xc2\x95' : ' ',
    '\xc2\x96' : '-',        # High hyphen
    '\xc2\x97' : '--',       # Double hyphen
    '\xc2\x99' : ' ',
    '\xc2\xa0' : ' ',
    '\xc2\xa6' : '|',        # Split vertical bar
    '\xc2\xab' : '<<',       # Double less than
    '\xc2\xbb' : '>>',       # Double greater than
    '\xc2\xbc' : '1/4',      # one quarter
    '\xc2\xbd' : '1/2',      # one half
    '\xc2\xbe' : '3/4',      # three quarters
    '\xca\xbf' : '\x27',     # c-single quote
    '\xcc\xa8' : '',         # modifier - under curve
    '\xcc\xb1' : ''          # modifier - under line
}
def replace_chars(match):
    char = match.group(0)
    return chars[char]
return re.sub('(' + '|'.join(chars.keys()) + ')', replace_chars, text)