Solr字符串字段类型最大可索引字符

Question

null

我找不到任何说明这是一个限制的文档，也找不到任何绕过它的方法，因为maxFieldLength在4.0中被删除，并且string字段不支持分析器。

有其他人遇到这个问题或找到了解决办法吗？

Answer 1

我花了很多时间在这个问题上，所以我张贴我想出的解决方案，以防其他人遇到这个问题。在KeywordTokenizer中使用文本字段类型确实与字符串字段类似，直到我在字符串字段类型中遇到的长度限制。

最终，我在阅读了下面的线程后创建了一个自定义标记器，并做了一些更改：

>

他想要标准的行为，所以他的行为是基于StandardTokenizer，而我想让它像一个字符串字段一样。我第一次尝试使用KeywordTokenizer，但仍然遇到了一些限制，所以最终我将我的方法基于WhitespaceTokenizer（更多见下文）。

package custom.analysis;

import java.io.Reader;
import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.util.CharTokenizer;
import org.apache.lucene.util.AttributeSource;
import org.apache.lucene.util.Version;

public final class MyCustomTokenizer extends CharTokenizer {

  public MyCustomTokenizer(Version matchVersion, Reader in) {
    super(matchVersion, in);
  }

  public MyCustomTokenizer(Version matchVersion, AttributeSource source, Reader in) {
    super(matchVersion, source, in);
  }

  public MyCustomTokenizer(Version matchVersion, AttributeFactory factory, Reader in) {
    super(matchVersion, factory, in);
  }

  @Override
  protected boolean isTokenChar(int c) {
    return true; //!Character.isWhitespace(c);
  }
}

MyCustomTokenizerFactory.java：

package custom.analysis;

import org.apache.lucene.analysis.util.TokenizerFactory;
import org.apache.lucene.analysis.core.KeywordTokenizerFactory;
import org.apache.lucene.analysis.core.KeywordTokenizer;

import java.io.Reader; 
import org.apache.lucene.util.Version;


public class MyCustomTokenizerFactory extends TokenizerFactory {
  public MyCustomTokenizer create(Reader input) { 
    final MyCustomTokenizer tokenizer = new MyCustomTokenizer(Version.LUCENE_40, input); 
    return tokenizer; 
  } 
} 

schema.xml：

<fieldType name="text_block" class="solr.TextField" positionIncrementGap="100"> 
   <analyzer> 
     <tokenizer class="custom.analysis.MyCustomTokenizerFactory" />        
   </analyzer> 
</fieldType> 

使用这种方法，我能够索引大型文本字段(>100k个字符），并具有字符串字段之类的功能。如果有人找到更好的办法，请贴出来！