用elasticsearch-hadoop库将元组从storm索引到elasticsearch无法工作

Question

我想从Storm将文档索引到Elasticsearch中，但我无法将任何文档索引到Elasticsearch中。

在我的拓扑中，我有一个KafkaSpout，它向EsBolt发出如下所示的json{“tweetid”：1,“text”：“hello”}，该EsBolt是来自elasticsearch-hadoop库的本地bolt，它将Storm元组写入Elasticsearch（doc在这里：https://www.elastic.co/guide/en/Elasticsearch/hadoop/current/Storm.html）。以下是我的esbolt的配置：

Map conf = new HashMap();
conf.put("es.nodes","127.0.0.1");
conf.put("es.port","9200");
conf.put("es.resource","twitter/tweet");
conf.put("es.index.auto.create","no");
conf.put("es.input.json", "true");
conf.put("es.mapping.id", "tweetId");
EsBolt elasticsearchBolt = new EsBolt("twitter/tweet", conf);

前两个配置默认情况下都有这些值，但我选择显式设置它们。我也尝试过没有它们，得到同样的结果。

这就是我构建拓扑的方式：

TopologyBuilder builder = new TopologyBuilder();

builder.setSpout(TWEETS_DATA_KAFKA_SPOUT_ID, kafkaSpout, kafkaSpoutParallelism)
        .setNumTasks(kafkaSpoutNumberOfTasks);


builder.setBolt(ELASTICSEARCH_BOLT_ID, elasticsearchBolt, elasticsearchBoltParallelism)
        .setNumTasks(elasticsearchBoltNumberOfTasks)
        .shuffleGrouping(TWEETS_DATA_KAFKA_SPOUT_ID);

return builder.createTopology();

在本地运行拓扑之前，我在Elasticsearch中创建了“Twitter”索引和该索引的映射“tweet”。如果我检索新创建的类型的映射（curl-xget'http://localhost:9200/twitter/_mapping/tweet'):

{
   "twitter": {
      "mappings": {
         "tweet": {
            "properties": {
               "text": {
                  "type": "string"
               },
               "tweetId": {
                  "type": "string"
               }
            }
         }
      }
   }
}

我在本地运行拓扑，这是我在处理元组时在控制台中得到的结果：

Processing received message FOR 6 TUPLE: source: tweets-data-kafka-spout:9, stream: default, id: {-8010897758788654352=-6240339405307942979}, [{"tweetId":"1","text":"hello"}]

Emitting: elasticsearch-bolt __ack_ack [-8010897758788654352 -6240339405307942979]

TRANSFERING tuple TASK: 2 TUPLE: source: elasticsearch-bolt:6, stream: __ack_ack, id: {}, [-8010897758788654352 -6240339405307942979]

BOLT ack TASK: 6 TIME:  TUPLE: source: tweets-data-kafka-spout:9, stream: default, id: {-8010897758788654352=-6240339405307942979}, [{"tweetId":"1","text":"hello"}]

Execute done TUPLE source: tweets-data-kafka-spout:9, stream: default, id: {-8010897758788654352=-6240339405307942979}, [{"tweetId":"1","text":"hello"}] TASK: 6 DELTA:

因此元组似乎被处理了。然而，我没有任何文件索引在弹性搜索。

我想我在为EsBolt设置配置时做错了什么，可能遗漏了一个配置或其他什么。

Answer 1

只有达到es.storm.bolt.flush.entries.size指定的刷新大小后，文档才会被索引

或者，您可以设置触发队列刷新的刻度频率。

config.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 5);

默认情况下，es-hadoop根据es.storm.bolt.tick.tuple.flush参数在tick上刷新。