Easticsearch内部命中是否保证返回所有命中子？

Question

简而言之，我有一个索引，其中包含从pdf中提取的文本数据，分组为段落（称为块）。每个文档都包含一个“块”列表，其中每个“块”包含文本、页码和边界框的坐标。例如：

{
  blocks:[
    {
      text:"Some text",
      bbox:[0,1,2,3],
      page: 1
    },
    {
      text:"Some more text",
      bbox:[0,1,2,3],
      page: 2
    },
    {
      text:"Some other text",
      bbox:[0,1,2,3],
      page: 2
    },
  ],
  document_issuer: 12345
}

我想获得所有文件的列表，例如出现“现金”一词以及出现“现金”一词的所有块。

我的索引映射如下：；注意“块”是如何定义为嵌套对象的：

{
  "mappings" : {
    "properties" : {
      "blocks" : {
        "type" : "nested",
        "properties" : {
          "bbox" : {
            "type" : "float"
          },
          "page" : {
            "type" : "long"
          },
          "text" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          }
        }
      },
      "document_issuer" : {
        "type" : "long"
      }
    }
  }
}

我的查询如下所示：

{
  'query':{
    'nested':{
      'path': 'blocks',
      'query': {
        'match':{'blocks.text': 'cash'}
      },
      'inner_hits': {}
    }
  }
}

现在，令人惊讶的是，我inner_hits回来了，但并不是文件中的每个现金实例都突出显示了。使用上面的例子，我看到inner_hits可能包含最后2个块，但在搜索术语“文本”时不包含第一个块。

难道内部命中不应该显示每一个命中吗？

Answer 1

如果我理解正确，你想知道为什么你的inner_hits并不总是返回每个块。然而，inner_docs的想法正是如此。如果您的嵌套块中有大量的块，并且由于它们被认为是独立的子文档，inner_hits只会返回那些匹配的块，而不是像父文档中那样返回所有块。

换句话说，如果我同步以下内容，其中只有1个块包含“现金”

POST block_index/block
{"blocks":[{"text":"cash","bbox":[0,1,2,3],"page":1},{"text":"Some more text","bbox":[0,1,2,3],"page":2},{"text":"Some other text","bbox":[0,1,2,3],"page":2}],"document_issuer":12345}

然后使用＜code＞_source＜/code＞限制我想看到的内容

GET block_index/_search
{
  "_source": ["blocks.text", "inner_hits"],    <----
  "query": {
    "nested": {
      "path": "blocks",
      "query": {
        "match": {
          "blocks.text": "cash"
        }
      },
      "inner_hits": {
        "_source": "blocks.text"               <-----
      }
    }
  }
}

我要买一些类似的东西

{
  ...
  "hits" : {
    "total" : 1,
    "max_score" : 1.2800652,
    "hits" : [
      {
        "_index" : "block_index",
        "_type" : "block",
        "_id" : "0iQ9mXEBdiyDG0RsIKyn",
        "_score" : 1.2800652,
        "_source" : {
          "blocks" : [                         <----
            {
              "text" : "cash"
            },
            {
              "text" : "Some more text"
            },
            {
              "text" : "Some other text"
            }
          ]
        },
        "inner_hits" : {
          "blocks" : {
            "hits" : {
              "total" : 1,
              "max_score" : 1.2800652,
              "hits" : [
                {
                  "_index" : "block_index",
                  "_type" : "block",
                  "_id" : "0iQ9mXEBdiyDG0RsIKyn",
                  "_nested" : {
                    "field" : "blocks",
                    "offset" : 0
                  },
                  "_score" : 1.2800652,
                  "_source" : {
                    "text" : "cash"              <-----
                  }
                }
              ]
            }
          }
        }
      }
    ]
  }
}

虽然我可能想查看我所有块的text，但我更可能对在执行嵌套查询后实际导致整个父文档匹配的块感兴趣。

希望这有帮助。