使用正则表达式匹配仅以繁体中文出现的字符

Question

\p{Han}可用于匹配所有汉字（汉文），这些汉字混合了简体中文和繁体中文。

是否有一个正则表达式只匹配繁体中文中唯一的字符？换句话说，匹配除简体中文以外的任何中文字符。类似（？！\p{Hans})\p{Hant}。

此外，理想情况下，如果正则表达式还可以排除日本汉字、韩国汉字、越南友寿和友寿。

Answer 1

由于繁体字在Unicode表上是不连续的，因此不幸的是，除非Regex支持\p{Hant}和\p{Hans}之类的东西，否则没有一个简单的Regex可以逐个测试它们。

受到@jdaz注释所指向的答案^{^}的启发，我使用HanzIdentifier模块编写了一个Python脚本，生成与繁体中文^&中唯一的字符匹配的正则表达式：

from typing import List, Tuple

from hanzidentifier import identify, TRADITIONAL


def main():
    block = [
        *range(0x4E00, 0x9FFF + 1),  # CJK Unified Ideographs
        *range(0x3400, 0x4DBF + 1),  # CJK Unified Ideographs Extension A
        *range(0x20000, 0x2A6DF + 1),  # CJK Unified Ideographs Extension B
        *range(0x2A700, 0x2B73F + 1),  # CJK Unified Ideographs Extension C
        *range(0x2B740, 0x2B81F + 1),  # CJK Unified Ideographs Extension D
        *range(0x2B820, 0x2CEAF + 1),  # CJK Unified Ideographs Extension E
        *range(0x2CEB0, 0x2EBEF + 1),  # CJK Unified Ideographs Extension F
        *range(0x30000, 0x3134F + 1),  # CJK Unified Ideographs Extension G
        *range(0xF900, 0xFAFF + 1),  # CJK Compatibility Ideographs
        *range(0x2F800, 0x2FA1F + 1),  # CJK Compatibility Ideographs Supplement
    ]
    block.sort()

    result: List[Tuple[int, int]] = []

    for point in block:
        char = chr(point)
        identify_result = identify(char)
        if identify_result is TRADITIONAL:
            # is traditional only, save into the result list
            if len(result) > 0 and result[-1][1] + 1 == point:
                # the current char is right after the last char, just update the range
                result[-1] = (result[-1][0], point)
            else:
                result.append((point, point))

    range_regexes: List[str] = []
    # now we have a list of ranges, convert them into a regex
    for start, end in result:
        if start == end:
            range_regexes.append(chr(start))
        elif start + 1 == end:
            range_regexes.append(chr(start))
            range_regexes.append(chr(end))
        else:
            range_regexes.append(f'{chr(start)}-{chr(end)}')

    # join them together and wrap into [] to form a regex set
    regex_char_set = ''.join(range_regexes)
    print(f'[{regex_char_set}]')


if __name__ == '__main__':
    main()

这将生成我在这里发布的正则表达式:https://regex101.com/r/fkkhq1/5（似乎堆栈溢出不喜欢我发布生成的正则表达式）

请注意，因为hanzidentifier使用的是CC-CEDICT，特别是它没有使用最新版本的CC-CEDICT，所以某些繁体字符肯定不会被覆盖，但对于常用字符应该足够了。

日本汉字是一个大集合。幸运的是，日本文化事务厅有一个常用汉字列表，因此我创建了这个文本文件供程序阅读。排除了常用的汉字后，我得到了这个regex:https://regex101.com/r/fkkhq1/7

不幸的是，我找不到一个常用韩文的列表。尤其是现在很少使用汉字。越南的友寿和友寿也几乎被消灭了。

脚注：

^:该答案中的正则表达式不匹配所有简体字符。要获得匹配所有简体字符（包括繁体中文字符）的正则表达式，请将if identify_result为繁体字符更改为if identify_result为简体字符或identify_result为两者字符，这样就得到了正则表达式:https://regex101.com/r/fkkhq1/6

&:此脚本不过滤日本汉字、韩国汉字、越南友寿或友寿。您必须修改它以排除它们。