使用Python剥离和替换高Unicode字符文档的最快方法是什么？

Question

我希望从大型文档中将所有高unicode字符（例如重音E，左和右引号等）替换为低范围内的“普通”对等字符，例如常规的“
E”和直引号。我需要经常在非常大的文档上执行此操作。我在以下地方可能看到了perl的示例：http
:
//www.designmeme.com/mtplugins/lowdown.txt

在Python中有没有使用s.replace（…）。replace（…）。replace（…）…的快速方法？我已经尝试过用几个字符替换它，并且文档剥离变得非常缓慢。

编辑，我的unutbu代码版本似乎无效：

# -*- coding: iso-8859-15 -*-
import unidecode
def ascii_map():
    data={}
    for num in range(256):
        h=num
        filename='x{num:02x}'.format(num=num)
        try:
            mod = __import__('unidecode.'+filename,
                             fromlist=True)
        except ImportError:
            pass
        else:
            for l,val in enumerate(mod.data):
                i=h<<8
                i+=l
                if i >= 0x80:
                    data[i]=unicode(val)
    return data

if __name__=='__main__':
    s = u'“fancy“fancy2'
    print(s.translate(ascii_map()))

Answer 1

import unicodedata

def shoehorn_unicode_into_ascii(s):
    return unicodedata.normalize('NFKD', s).encode('ascii','ignore')

if __name__=='__main__':
    s = u"éèêàùçÇ"
    print(shoehorn_unicode_into_ascii(s))
    # eeeaucC

请注意，正如@Mark
Tolonen所指出的那样，上述方法删除了一些字符，例如ß’‘”。如果上面的代码截断了您希望翻译的字符，那么您可能必须使用字符串的translate方法来手动解决这些问题。另一种选择是使用unidecode。

当您有一个较大的unicode字符串时，使用其translate方法将比使用该replace方法快得多。

编辑： unidecode
Unicode代码点到ASCII有更完整的映射。但是，unidecode.unidecode循环遍历字符串（在Python循环中），这比使用该translate方法要慢。

以下辅助函数使用unidecode的数据文件和translate方法来提高速度，尤其是对于长字符串。

在我对1-6 MB文本文件的测试中，使用ascii_map速度大约是的4-6倍unidecode.unidecode。

# -*- coding: utf-8 -*-
import unidecode
def ascii_map():
    data={}
    for num in range(256):
        h=num
        filename='x{num:02x}'.format(num=num)
        try:
            mod = __import__('unidecode.'+filename,
                             fromlist=True)
        except ImportError:
            pass
        else:
            for l,val in enumerate(mod.data):
                i=h<<8
                i+=l
                if i >= 0x80:
                    data[i]=unicode(val)
    return data

if __name__=='__main__':
    s = u"éèêàùçÇ"
    print(s.translate(ascii_map()))
    # eeeaucC

Edit2：大黄，如果# -*- encoding: utf-8 -*-引起SyntaxError，请尝试 # -*- encoding: cp1252 -*-。声明哪种编码取决于文本编辑器用于保存文件的编码。Linux倾向于使用utf-8，而Windows倾向于使用cp1252。