当前位置: 首页 > 工具软件 > Tokenizer > 使用案例 >

Tokenizer那些事儿

仉昱
2023-12-01

一、格式处理

首先带大家梳理一下BPE词表中的一些知识。

  1. “normalizer”:设置正则化器,即文本在编码前先经过正则化处理,正则化主要是用于转换全角字符及汉字标点。常见的正则化器有‘NFKC’等,‘NFKC’能够有效转换全角字符,同时也能转换中文标点,但以下中文标点不做转换:句号。顿号、书名号《 》引号“ ” 以及各种方括号【】〖〗和六角括号〔〕,BPE训练时一般会先将语料正则化处理,再执行算法迭代,因此编码时也应加入正则化操作;
  2. 词表中的词表示一般区分词的位置,即是否为前缀(或后缀),同一个词在不同位置会对应不同id,因此tokenizer在使用词表分词前都会对序列进行预分词,即pretokenize,一般情况下pretokenize的依据是空格、制表、换行符和所有标点符号,此外special token也作为预切分依据,预分词后的文本会用于判断前后缀以生成不同表示,下一节会详细介绍常见的预分词器;
  3. special token在解码时会自动忽略,因此还原文本时也无需设置跳过规则。
  4. decode时的特殊情况:对于WordPiece解码器,如果一个id不属于前后缀类型的id,却位于序列的开头(结尾),则解码后会自动缀上“##”,其它情况下会按原样输出;如果一个id属于前后缀类型的,且其前(后)还有其他内容,则解码后会自动缀上空格符;

二、预分词器

一般在训练BPE词表时会对语料进行预分词,预分词后的文本可以更好地区分出前后缀。Tokenizer中常见的预分词器介绍如下:

1、Whitespace

Whitespace即连续字符分词器,采用正则表达式“\w+|[^\w\s]+”进行原文匹配。通过表达式可以看出分词规则如下:将连续的字符(汉字、字母和数字)作为一个子词,也将连续的非字符和非空格(通常为标点等符号)作为一个子词来切分,空格(‘\s’)则会直接过滤;

2、BertPreTokenizer

其和1类似,也是按照空格和标点等符号做切分,只是遇到连续标点时会拆分为独立单元,例如三个点的省略号‘…’,按照1的方法切分后是‘…’,按该分词器切分则为三个‘.’;

3、Punctuation

按照标点切分,但不考虑空格,也不过滤空格,标点处理方法同2一样独立拆分;

4、CharDelimiterSplit

按照指定字符切分,函数包含delimiter参数,接受单个字符(不指定会报错),分词时以该字符为切分依据,并过滤字符使其不在分词结果中出现;

5、WhitespaceSplit

只按空格切分,其它标点等字符都会合并;

6、Split

函数输入一个正则表达式(由Regex类初始化,该类输入模式串),分词时按该表达式切分,函数包含‘behavior’参数,用于指定匹配出文本的处理方法,有切分、移除、与前驱词合并、与后继词合并四种选择(注:切分、前后合并模式下子词之间的匹配失败部分也作为一个子词,然后执行不同操作,移除模式下只移除匹配成功的子词);

7、Sequence

该分词器本身不具备分词功能,而是接受由分词器组成的列表类型,执行时会使用分词器表依次处理,每个分词器接受上一个分词器的输出,并将切分结果传给下一个分词器。列表中的分词器可以是上述所有分词器类型。

 类似资料: