如何在ZZ_CMAP_PACKED中获得单词边界？

Question

我正在尝试编写我的第一个Elasticsearch分析插件，我从github中找到了一个可扩展的标准Analyzer插件项目：Elasticsearch分析standardext，在该项目中它提供了以下代码：

   /** 
    * Word Boundary "character classes" that are used in the ZZ_CMAP_PACKED 
    * string 
    */ 
   public static final Character WB_CLASS_BREAK               = '\0'; 
   public static final Character WB_CLASS_LETTER              = '\176'; 
   public static final Character WB_CLASS_NUMERIC             = '\200'; 
   public static final Character WB_CLASS_MID_LETTER          = '\202'; 
   public static final Character WB_CLASS_MID_NUMBER          = '\203'; 
   public static final Character WB_CLASS_MID_NUMBER_LETTER   = '\204'; 
   public static final Character WB_CLASS_EXTENDED_NUM_LETTER = '\205'; 
   public static final Character WB_CLASS_SINGLE_QUOTE        = '\212'; 
   public static final Character WB_CLASS_DOUBLE_QUOTE        = '\213'; 

这里是链接

我想知道如何获得这些单词边界的字符类。

我问有问题的作者：如何获得单词边界“字符类”？#2，但是作者似乎不会回答我的问题。

我尝试阅读Unicode文本分段文档：https://www.unicode.org/reports/tr29/，但我真的找不到我想要的东西，因为它既难又长。

我从lucene存储库下载了标准Analyzer代码，它在这里：https://github.com/apache/lucene-solr/tree/releases/lucene-solr/8.1.0/lucene/core/src/java/org/apache/lucene/analysis/standard

似乎StandardTokenizerImpl。java类是从StandardTokenizerImpl生成的。jflex，我可以在jfex的帮助下获得这些单词边界的字符类吗

谢谢有人帮助我。

Answer 1

我发现我们可以从文件中得到这个世界的边界：https://www.unicode.org/reports/tr29/#Word_Boundaries，而且由于项目elasticsearch analysis standardext是elasticsearch的老版本。它不适用于Elasticsearch版本=7.3。2.

我们可以发现，现在Lucene不支持像ALetter这样简单的世界边界，它的格式将是

MidLetterEx         = [\p{WB:MidLetter}\p{WB:MidNumLet}\p{WB:SingleQuote}] 

我们可以从文件StandardTokenizerImpl中看到这一点。jflex

因此，如果您想从ZZ_CMAP_压缩中获取世界边界，您应该参考文档Word_边界。

如果你想写一个定制的标准化标记器，这可能会对你有所帮助。

您也可以参考Lucene项目的ClassicTokenizer，它将帮助您！