具有多个Kafka绑定器的Spring Cloud Dataflow

Question

我正试图使用Spring Cloud数据流，通过bridge应用程序将两个Kafka集群(本质上是一个奇特的MirrorMaker实例)连接起来。如文档中所述，我定义了两个绑定器。Kafka-qa1应该是默认的，kafka-qa2可以在定义或部署属性中作为输出绑定器提供，例如:app . bridge . spring . cloud . stream . bindings . output . binder = Kafka-qa2

我的SCDF应用程序。yaml包含两种粘合剂：

spring:
  cloud:
    dataflow:
      applicationProperties:
        stream:
          spring:
            cloud:
              stream:
                defaultBinder: kafka-qa1
                binders:
                  kafka-qa1:
                    type: kafka
                    environment:
                      spring:
                        brokers: qa-1.example.com:9093
                        zk-nodes: qa-1.example.com:2181
                  kafka-qa2:
                    type: kafka
                    environment:
                      spring:
                        brokers: qa-2.example.com:9093
                        zk-nodes: qa-2.example.com:2181

然而，它似乎忽略了输出绑定器。我还在我的配置中保留了一个单独的活页夹使用的部分（如下）。如果我删除它，defaultBinder选项似乎不起作用，它将恢复为localhost。

kafka:
 binder:
  brokers: qa-1.example.com:9093

有什么想法或示例可以指出我将多个 Kafka 集群与 Bridge 应用程序连接起来吗？

Answer 1

对于< code >代理和< code>zk-nodes，似乎缺少< code >环境标记的< code > spring . cloud . stream . Kafka . binder 前缀。请看下文。

spring . cloud . data flow . application properties . stream . spring . cloud . stream . binders . Kafka-qa1 . type = Kafka

spring.cloud.dataflow.applicationProperties.stream.spring.cloud.stream.binders.kafka-qa1.environment.spring.cloud.stream.kafka.binder.brokers=qa-1.example.com:9093

spring.cloud.dataflow.applicationProperties.stream.spring.cloud.stream.binder.kafka-ka1.environment.spring.cloud.stream.kafka.binder.zkNodes=qa-1.example.com:2181

spring.cloud.dataflow.applicationProperties.stream.spring.cloud.stream.binders.kafka2.type=kafka

spring . cloud . data flow . application properties . stream . spring . cloud . stream . binders . Kafka-qa2 . environment . spring . cloud . stream . Kafka . binder . brokers = QA-2 . example . com:9093

spring.cloud.dataflow.applicationProperties.stream.spring.cloud.stream.binders.kafka-qa2.environment.spring.cloud.stream.kafka.binder.zkNodes=qa-2.example.com:2181