Solr中的索引：修正分析器以不产生大量的术语

Question

我正试图通过运行以下代码来索引nutch抓取的数据：

bin/nutch index -D solr.server.url="http://localhost:8983/solr/carerate" crawl/crawldb -linkdb crawl/linkdb crawl/segments/2016*

一开始它工作得很好。我索引了我的数据，发送了一些查询，并收到了很好的结果。但是我再次运行爬行，这样它就可以获取更多的页面，现在当我运行nutch index命令时，我会面对

我不是专家，所以我不确定如何在不搞砸其他东西的情况下纠正分析器。我读到我可以：1。使用（在索引分析器中）一个LengthFilterFactory，以便过滤掉那些不在请求长度范围内的令牌。2.（在索引分析器中）使用TruncateTokenFilterFactory来修复索引标记的最大长度

但是模式中有很多分析器。是否应该更改定义的分析器？如果是，因为内容和其他字段的类型都是text_general，这不会影响所有这些字段吗？

有人知道我该怎么解决这个问题吗？如果有任何帮助，我将不胜感激。

顺便说一句，我使用的是nutch 1.11和solr 6.0.0。

Answer 1

假设您使用与Nutch捆绑在一起的schema.xml作为Solr安装的基本模式，基本上只需要将这些筛选器(LengthFilterFactory或TruncateTokenFilterFactory)添加到Text_General字段类型中。

从text_generalfieldtype(https://github.com/apache/nutch/blob/master/conf/schema.xml#l108-l123)的初始定义开始，您需要将以下内容添加到 部分：

...
<analyzer type="index">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <!-- remove long tokens -->
    <filter class="solr.LengthFilterFactory" min="3" max="7"/> 
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
    <filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
...

这也可以使用相同的语法应用于query分析器。如果要使用TruncateTokenFilterFactory筛选器，只需将添加的行替换为：

 <filter class="solr.TruncateTokenFilterFactory" prefixLength="5"/>

此外，不要忘记根据您的需要调整每个筛选器的参数(min、max)和truncateTokenfilterFactory的prefixlengt。

回答您的其他问题：是的，这将影响所有text_general类型的字段，但这并不是问题，因为如果在任何其他字段中发现另一个超长项，将引发相同的错误。如果您仍然希望仅针对content字段隔离此更改，只需使用新名称创建一个新的fieldtype(truncated_text_general，例如，只需复制并粘贴整个fieldtype节并更改name属性），然后更改content字段的类型(https://github.com/apache/nutch/blob/master/conf/schema.xml#l339)以匹配新创建的

也就是说，只需为筛选器选择正常的值，以避免从索引中遗漏大量术语。