StandardAnalyzer

优质

小牛编辑

136浏览

2023-12-01

这是最复杂的分析器，能够处理名称，电子邮件地址等。它会降低每个令牌的大小，并删除常用的单词和标点符号（如果有的话）。

Class 声明 (Class Declaration)

以下是org.apache.lucene.analysis.StandardAnalyzer类的声明 -

public final class StandardAnalyzer
   extends StopwordAnalyzerBase

字段 (Fields)

以下是org.apache.lucene.analysis.StandardAnalyzer类的字段 -

static int DEFAULT_MAX_TOKEN_LENGTH - 这是默认的最大允许令牌长度。
static Set《?》 STOP_WORDS_SET - 一个不可修改的集合，包含一些通常对搜索无用的常用英语单词。

类构造函数 (Class Constructors)

下表显示了不同的类构造函数 -

S.No.	构造函数和描述
1	StandardAnalyzer(Version matchVersion) 使用默认停用词（STOP_WORDS_SET）构建分析器。
2	StandardAnalyzer(Version matchVersion, File stopwords) 已过时。请改用StandardAnalyzer（版本，阅读器）。
3	StandardAnalyzer(Version matchVersion, Reader stopwords) 使用给定阅读器中的停用词构建分析器。
4	StandardAnalyzer(Version matchVersion, Set《?》 stopWords) 使用给定的停用词构建分析器。

Class Methods

下表显示了不同的类方法 -

S.No.	方法和描述
1	protected Reusable Analyzer Base. Token Stream Components create Components(String fieldName, Reader reader) 为此分析器创建一个新的ReusableAnalyzerBase.TokenStreamComponents实例。
2	int getMaxTokenLength()
3	void setMaxTokenLength(int length) 设置允许的最大令牌长度。

S.No.

方法和描述

protected Reusable Analyzer Base. Token Stream Components create Components(String fieldName, Reader reader)

为此分析器创建一个新的ReusableAnalyzerBase.TokenStreamComponents实例。

int getMaxTokenLength()

void setMaxTokenLength(int length)

设置允许的最大令牌长度。

方法继承 (Methods Inherited)

该类继承以下类中的方法 -

org.apache.lucene.analysis.StopwordAnalyzerBase
org.apache.lucene.analysis.ReusableAnalyzerBase
org.apache.lucene.analysis.Analyzer
java.lang.Object

用法 (Usage)

private void displayTokenUsingStandardAnalyzer() throws IOException {
   String text 
      = "Lucene is simple yet powerful java based search library.";
   Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
   TokenStream tokenStream 
      = analyzer.tokenStream(LuceneConstants.CONTENTS,
        new StringReader(text));
   TermAttribute term = tokenStream.addAttribute(TermAttribute.class);
   while(tokenStream.incrementToken()) {
      System.out.print("[" + term.term() + "] ");
   }
}

例子 Example Application

让我们创建一个测试Lucene应用程序来使用BooleanQuery测试搜索。

步	描述
1	在Lucene - First Application章节中解释，在cn.xnip.lucene包下创建一个名为LuceneFirstApplication的项目。您还可以使用Lucene - First Application创建的项目Lucene - First Application本章的Lucene - First Application章节来理解搜索过程。
2	按照Lucene - First Application章节中的说明创建LuceneConstants.java 。保持其余文件不变。
3	创建LuceneTester.java ，如下所述。
4	清理并构建应用程序以确保业务逻辑按照要求运行。

LuceneConstants.java

此类用于提供跨示例应用程序使用的各种常量。

package cn.xnip.lucene;
public class LuceneConstants {
   public static final String CONTENTS = "contents";
   public static final String FILE_NAME = "filename";
   public static final String FILE_PATH = "filepath";
   public static final int MAX_SEARCH = 10;
}

LuceneTester.java

该类用于测试Lucene库的搜索功能。

package cn.xnip.lucene;
import java.io.IOException;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.TermAttribute;
import org.apache.lucene.util.Version;
public class LuceneTester {
   public static void main(String[] args) {
      LuceneTester tester;
      tester = new LuceneTester();
      try {
         tester.displayTokenUsingStandardAnalyzer();
      } catch (IOException e) {
         e.printStackTrace();
      }
   }
   private void displayTokenUsingStandardAnalyzer() throws IOException {
      String text 
         = "Lucene is simple yet powerful java based search library.";
      Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
      TokenStream tokenStream = analyzer.tokenStream(
         LuceneConstants.CONTENTS, new StringReader(text));
      TermAttribute term = tokenStream.addAttribute(TermAttribute.class);
      while(tokenStream.incrementToken()) {
         System.out.print("[" + term.term() + "] ");
      }
   }
}

运行程序 (Running the Program)

完成源的创建后，您可以继续编译和运行程序。为此，请保持LuceneTester.Java文件选项卡处于活动状态，并使用Eclipse IDE中提供的“运行”选项或使用Ctrl + F11编译并运行LuceneTester应用程序。如果您的应用程序成功运行，它将在Eclipse IDE的控制台中打印以下消息 -

[lucene] [simple] [yet] [powerful] [java] [based] [search] [library]