ElasticSearch在文档中索引的最大术语？

Question

Lucene提到-

If The document you are indexing are very large. Lucene by default only indexes the first 10,000 terms of a document to avoid OutOfMemory errors

但是我们可以通过IndexWriter.setMaxFieldLength（int）对其进行配置。

我在ElasticSearch-http://localhost:9200/twitter中创建了一个索引，并发布了一个包含40,000个术语的文档。

映射-

{
    "twitter": {
        "mappings": {
            "tweet": {
                "properties": {
                    "filter": {
                        "properties": {
                            "term": {
                                "properties": {
                                    "message": {
                                        "type": "string"
                                    }
                                }
                            }
                        }
                    },
                    "message": {
                        "type": "string",
                        "analyzer": "standard"
                    }
                }
            }
        }
    } }

我用message字段索引了一个文档，有40,000个术语-message：“text1text2....text40000”。

自从标准分析器对空间进行分析以来，它已经索引了40,000个术语。

我的观点是，elasticsearch是否对lucene上的索引项设置了数量限制？如果是，限制是多少？

如果没有，我的4万个术语怎么都被索引了，它不应该索引超过10000个术语。

Answer 1

您引用的源代码似乎不是最新的，因为indexwriter.setMaxFieldLength(int)在Lucene3.4中不推荐使用，现在在ES所基于的Lucene4+中不再可用。它已被LimitTokenCountAnalyzer所取代。但是，我认为这样的限制不再存在，或者至少在Elasticsearch代码库中没有显式设置。

在索引文档时，您可能遇到的唯一限制与HTTP有效负载大小或Lucene的内部缓冲区大小有关，如本文所述