匹配所有朝鲜文（朝鲜文）字符和音节块的正则表达式

Question

我试图验证用户输入（在Python中），看看是否使用了正确的语言，在本例中是韩语。让我们用韩语来表示电子邮件地址：ymposal

我可以这样检查每个字符：

import unicodedata as ud
for chr in u'이메일 주소':
    if 'HANGUL' in ud.name(chr): print "Yep, that's a Korean character."

但这似乎效率很低，特别是对于较长的文本。当然，我可以创建一个包含所有韩语音节块的静态字典，但是该字典将包含大约25,000个字符，并且再次，检查起来效率会很低。还有，我也需要一个解决日语和汉语，可能包含更多的字符。

因此，我想对朝鲜文音节块使用一个覆盖所有Unicode字符的Regex模式。但我不知道是否有一个范围，或在哪里找到它。

例如，这个正则表达式模式覆盖了所有基于拉丁文的字符，包括括号和其他常用符号：

import re
LATIN_CHARACTERS = re.compile(ur'[\x00-\x7F\x80-\xFF\u0100-\u017F\u0180-\u024F\u1E00-\u1EFF]')

有人能把这个正则表达式翻译成符合朝鲜文音节块吗？或者你能给我一个表或引用来查找这样的范围吗？

一个匹配中文和日文的模式也会很有帮助。或一个正则表达式来同时匹配所有CJK字符。我不需要区分日语和韩语。

这里有一个用于该任务的Python库，但它可以与极其庞大的字典一起工作：https://github.com/elifinkelshteyn/alphabet-detector我无法想象这对于大文本和大量用户输入来说是有效的。

谢谢！

Answer 1

您知道Unicode是如何被分割成块的，以及每个块是如何表示连续的代码点范围的？也就是说，有一个比正则表达式更有效的解决方案。

朝鲜文Jamo有一个单独的代码块，在CJK块中有额外的字符，一个兼容块，朝鲜文音节等。

最有效的方法是使用if/then语句检查每个字符是否在可接受的范围内。您几乎可以肯定地使用C扩展来加快这一过程。

例如，如果我只是检查朝鲜文字块（不充分，但仅仅是一个简单的起始位置），我将使用以下代码检查字符串中的每个字符：

def is_hangul_character(char):
    '''Check if character is in the Hangul Jamo block'''

    value = ord(char)
    return value >= 4352 and value <= 4607


def is_hangul(string):
    '''Check if all characters are in the Hangul Jamo block'''

    return all(is_hangul_character(i) for i in string)

将它扩展到包含朝鲜文字字符的8个左右的块是很容易的。没有表查找，没有正则表达式编译。只是基于Unicode字符块的快速范围检查。

在C语言中，这也是非常容易的（如果您希望获得显著的性能提升，那么只需很少的工作就可以匹配一个完全优化的库）：

// Return 0 if a character is in Hangul Jamo block, -1 otherwise
int is_hangul_character(char c)
{
    if (c >= 4352 && c <= 4607) {
        return 0;
    }
    return -1;
}


// Return 0 if all characters are in Hangul Jamo block, -1 otherwise
int is_hangul(const char* string, size_t length)
{
    size_t i;
    for (i = 0; i < length; ++i) {
        if (is_hangul_character(string[i]) < 0) {
            return -1;
        }
    }
    return 0;
}

对CPython实现的粗略一瞥显示CPython对unicodedata模块使用了这种精确的方法。也就是说，尽管你自己实现它相对容易，但它还是很有效的。它仍然值得实现，因为您不必分配任何中间字符串或使用多余的字符串比较（这可能是UnicodeData模块的主要成本）。