Apache Storm：支持Kafka spout中的主题通配符

Question

我们有一个具有多个kafka spout任务的拓扑。每个spout任务都应该从一组Kafka主题中读取消息的子集。主题必须使用通配符（如aaa.bbb.*）来订阅。预期的行为是，所有spout任务将共同使用与通配符匹配的所有主题中的所有消息。每个消息只路由到单个spout任务（忽略失败场景）。当前是否支持此操作？

Answer 1

也许您可以使用DynamicBrokersReader类。

Map conf = new HashMap();
...
conf.put("kafka.topic.wildcard.match", true);

wildCardBrokerReader = new DynamicBrokersReader(conf, connectionString, masterPath, "AAA.BBB.*");
List<GlobalPartitionInformation> partitions = wildCardBrokerReader.getBrokerInfo();
...
for (GlobalPartitionInformation eachTopic: partitions) {
    StaticHosts hosts = new StaticHosts(eachTopic);
    SpoutConfig spoutConfig = new SpoutConfig(hosts, eachTopic.topic, zkRoot, id);
    KafkaSpout spout = new KafkaSpout(spoutConfig);
}
... // Wrap those created spout instances into a container