用特殊字符搜索solr

Question

我有一个问题与搜索的特殊字符在solr。我的文档有一个字段标题，有时它可以像泰坦尼克号-1999（它有字符-）。当我试图搜索索尔与"-"我收到一个400错误。我试图逃避这个角色，所以我尝试了像“-”和“\-”这样的东西。有了这些变化，solr不会用错误来回应我，但它会返回0个结果。

如何在solr admin中搜索具有该特殊字符（如“-”或“”？）的内容？？？

问候

在这里更新您可以看到我当前的solr方案https://gist.github.com/cpalomaresbazuca/6269375

我的搜索指向“标题”字段。

从模式中摘录。xml:

 ...
 <!-- A general text field that has reasonable, generic
     cross-language defaults: it tokenizes with StandardTokenizer,
     removes stop words from case-insensitive "stopwords.txt"
     (empty by default), and down cases.  At query time only, it
     also applies synonyms. -->
    <fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
        <analyzer type="index">
            <tokenizer class="solr.StandardTokenizerFactory"/>
            <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
            <!-- in this example, we will only use synonyms at query time
             <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
             -->
            <filter class="solr.LowerCaseFilterFactory"/>

        </analyzer>
        <analyzer type="query">
            <tokenizer class="solr.StandardTokenizerFactory"/>
            <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
            <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
            <filter class="solr.LowerCaseFilterFactory"/>

        </analyzer>
    </fieldType>
...
<field name="Title" type="text_general" indexed="true" stored="true"/>

Answer 1

我花了很多时间来完成这件事。这里有一个在SolR中查询特殊字符的明确步骤。希望它能帮助别人。

>

编辑schema.xml文件并找到solr。您正在使用的文本字段。

在这两种情况下，索引和查询分析器会修改WordDlimiterFilterFactory并添加type="characters.txt"类似的内容：

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100" multiValued="true">
 <analyzer type="index">
 <tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter catenateAll="0" catenateNumbers="0" catenateWords="0" class="solr.WordDelimiterFilterFactory" generateNumberParts="1" generateWordParts="1" splitOnCaseChange="1" types="characters.txt"/>
</analyzer>
<analyzer type="query">
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter catenateAll="0" catenateNumbers="0" catenateWords="0" class="solr.WordDelimiterFilterFactory" generateNumberParts="1" generateWordParts="1" splitOnCaseChange="1" types="characters.txt"/>
</analyzer>
</fieldType>

确保使用WhitespaceTokenizerFactory作为标记器，如上所示。

你的characters.txt文件可以有这样的条目-

 \# => ALPHA
@ => ALPHA
\u0023 => ALPHA
                ie:- pointing to ALPHA only.

清除数据，重新索引和查询输入的字符。它会起作用的。

Answer 2

要搜索你的确切短语，请在它周围加上引号：

select?q=title:"Titanic - 1999" 

如果你只是想寻找那个特殊的角色，那么你需要逃离它：

select?q=title:\-

还要检查：特殊字符(-

如果你确切地知道你不想使用哪些特殊字符，那么你可以把它添加到regex-normalize.xml

<regex> 
  <pattern>&#x2D;</pattern> 
  <substitution>%2D</substitution> 
</regex>

这会将所有“-”替换为-，所以当您搜索时，只要您搜索-，而不是“-”，它就可以正常工作

Answer 3

您正在使用标准的text\u general字段作为标题属性。这可能不是一个好的选择text\u general用于大量文本（或至少是句子），而不是用于名称或标题的精确匹配。

这里的问题是text_general使用了Standard TokenizerFactory。

 <fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
        <analyzer type="index">
            <tokenizer class="solr.StandardTokenizerFactory"/>
            <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
            <!-- in this example, we will only use synonyms at query time
             <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
             -->
            <filter class="solr.LowerCaseFilterFactory"/>
        
        </analyzer>
        <analyzer type="query">
            <tokenizer class="solr.StandardTokenizerFactory"/>
            <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
            <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
            <filter class="solr.LowerCaseFilterFactory"/>
            
        </analyzer>
    </fieldType>

StandardTokenizerFactory执行以下操作：

一个好的通用标记器，它可以去除许多无关字符，并将标记类型设置为有意义的值。令牌类型仅对具有相同令牌类型类型类型意识的后续令牌筛选器有用。

这意味着-字符将被完全忽略，并用于标记字符串。

“功夫”将表示为“空”和“福”。“-”消失了。

这也解释了为什么select？q=标题：\-在这里不起作用。

选择更好的拟合字段类型：

您可以使用solr来代替StandardTokenizerFactory。WhitespaceTokenizerFactory，仅在空格上拆分以精确匹配单词。因此，为title属性创建自己的字段类型将是一个解决方案。

Solr还有一个名为text\u ws的字段类型。根据您的要求，这可能就足够了。