apache lucene引理

Question

我正在使用apache Lucene开发一个文本分析项目。我需要对一些文本进行词组化（将单词转换为它们的规范形式）。我已经编写了生成词干的代码。使用它，我可以转换以下句子

词干是单词的一部分，即使在形态学上发生变化也不会改变；引理是这个词的基本形式。例如，从“produced”中，引理是“produce”，但词干是“produc-”。这是因为有诸如生产这样的词

我负责词干的代码的简化版本：

//Using apache tika to identify the language
LanguageIdentifier identifier = new LanguageIdentifier(text);
//getting analyzer according to the language (eg, EnglishAnalyzer for 'en')
Analyzer analyzer = getAnalyzer(identifier.getLanguage());
TokenStream stream = analyzer.tokenStream("field", text);
stream.reset();
while (stream.incrementToken()) {
    String stem = stream.getAttribute(CharTermAttribute.class).toString();
    // doing something with the stem
    System.out.print(stem+ " ");
}
stream.end();
stream.close();

更新：我发现这个库几乎可以满足我的需求（对于英语和俄语），并且使用apache lucene（尽管有它自己的方式），它绝对值得探索。

Answer 1

如果有人还需要它，我决定回到这个问题，并说明如何使用我之前找到的RussianPlatformation库来为英语和俄语进行语系化。

首先，您将需要这些依赖关系（除了lucene-core)：

<!-- if you need Russain -->
<dependency>
    <groupId>org.apache.lucene.morphology</groupId>
    <artifactId>russian</artifactId>
    <version>1.1</version>
</dependency>

<!-- if you need English-->
<dependency>
    <groupId>org.apache.lucene.morphology</groupId>
    <artifactId>english</artifactId>
    <version>1.1</version>
</dependency>

<dependency>
    <groupId>org.apache.lucene.morphology</groupId>
    <artifactId>morph</artifactId>
    <version>1.1</version>
</dependency>

请注意，这些工件位于CUBA存储库（https://dl.bintray.com/cuba-platform/main/）。

然后，确保导入正确的分析器：

import org.apache.lucene.morphology.english.EnglishAnalyzer;
import org.apache.lucene.morphology.russian.RussianAnalyzer;

与标准的lucene分析器不同，这些分析器使用MorphologyFilter将每个单词转换为一组规范形式。

因此，如果使用以下代码

String text = "The stem is the part of the word that never changes even when morphologically inflected; a lemma is the base form of the word. For example, from \"produced\", the lemma is \"produce\", but the stem is \"produc-\". This is because there are words such as production";
Analyzer analyzer = new EnglishAnalyzer();
TokenStream stream = analyzer.tokenStream("field", text);
stream.reset();
while (stream.incrementToken()) {
    String lemma = stream.getAttribute(CharTermAttribute.class).toString();
    System.out.print(lemma + " ");
}
stream.end();
stream.close();

String text = "Продолжаю цикл постов об астрологии и науке. Астрология не имеет научного обоснования, но является частью истории науки, частью культуры и общественного сознания. Поэтому астрологический взгляд на науку весьма интересен.";

不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的不锈钢板内的钢板内的钢板内内的↓↓↓↓↓

你可能会注意到有些单词有多个基本形式，例如finterfected被转换为[finterfected,interfect]。如果您不喜欢这种行为，就必须更改org.apache.lucene.morphology.analyzer.morhpologyfilter的实现（如果您对具体如何实现感兴趣，请告诉我，我将详细说明）。

希望对你有帮助，祝你好运！