当前位置: 首页 > 面试题库 >

如何标记由两个单词合并而没有空格的单词

储俊英
2023-03-14
问题内容

我有一个像这样的词lovelive,它由两个简单的词组合而成lovelive没有空格。

我想知道哪种Lucene Analyzer可以将这种单词标记为两个单独的单词?


问题答案:

有一个看DictionaryCompoundWordTokenFilter作为在Solr的说明

该过滤器使用组成词的词典将复合词拆分或分解为单个词。每个输入令牌均不变地传递。如果还可以将其分解为子字,则每个子字也将在同一逻辑位置添加到流中。

在:“ Donaudampfschiff dummkopf”中

要过滤的令牌生成器:“ Donaudampfschiff”(1),“ dummkopf”(2),

输出:“ Donaudampfschiff”(1),“ Donau”(1),“ dampf”(1),“ schiff”(1),“
dummkopf”(2),“ dumm”(2),“ kopf”(2)

如您在示例配置中看到的,您将需要使用您想要拆分的语言的字典,在示例中,他们使用germanwords.txt,其中包含要分解的单词(如果找到的话)。在您的情况下,这将是lovelive

<analyzer>
  <tokenizer class="solr.StandardTokenizerFactory"/>
  <filter class="solr.DictionaryCompoundWordTokenFilterFactory" dictionary="germanwords.txt"/>
</analyzer>

对于Lucene来说org.apache.lucene.analysis.compound.DictionaryCompoundWordTokenFilter。该代码可在github上找到。



 类似资料:
  • 有没有一种方法可以在文本中标记一些单词,只是为了进一步的编程处理,而不是为了任何visuell之类的东西?假设我有以下文本: Lorem ipsum dolor sit amet,consetetur sadipscing elitr,sed diam nonumy eirmod tempor invidunt ut laboure et dolore magna aliquyam erat,se

  • 我试图找出这种情况下的正则表达式模式,以便序列化结果: 我想捕捉所有有限制的单词/单词组合: 只有单词,没有数字或字符,除了撇号 中间有空格的单词要包含在一起 到目前为止,我已经想出了: 但我有尾随空格。所以这和“七月”匹配,而不是“七月”。如何在保留单词之间的空格的同时防止尾随空格。

  • 在我的数据框架中,有一列名为“teams”。它包括城市和球队名称。我想把这个城市拉进另一个纵队。这是数据帧:数据帧示例 我可以使用正则表达式轻松提取列: 然而,在“名称”栏中,对于纽约尼克斯队,它只给了我“New”的值,我想得到“New York”: 结果 那么,我该怎么做呢?如果单元格有2个单词,我该如何从开头只提取一个单词?如果单元格有3个单词,我该如何使用正则表达式从中提取2个单词?

  • 当前我的网站加载到这里时生成文本https://www.droolstudios.co.uk/home。我现在正在进行一些更改,希望每个单独的工作都在中生成。 HTML null null 有人有什么想法吗?

  • 为什么两个 标记之间有空格?当我设置 标记的宽度时,它不起作用。我将其设置为 ,但两个 标记之间仍有空格。如何从 标记中删除空格? 以下是HTML和CSS代码: null null

  • 问题内容: 我使用的是条形码字体“ 9个常规中的3个免费字体”,在某些情况下,打印输出需要有多个空格,以匹配字段中的字符数。例: (项目编号后跟四个空格,以形成12个字符。如果字符数少,条形码阅读器会给我一个错误。 将强制使用多个空格,但是IE和Firefox都将它们显示为标准字体空间,并且不使用条形码字体。条形码在非空格字符之间显示为细分。(顺便说一句,只有IE 6才以正确的字体显示。)如果我使