Spring云流动态通道

Question

我正在使用Spring Cloud Stream，希望以编程方式创建和绑定通道。我的用例是，在应用程序启动期间，我收到要订阅的Kafka主题的动态列表。然后如何为每个主题创建频道？

Answer 1

我有一个任务，我事先不知道主题。我通过一个输入通道来解决这个问题，它可以收听我需要的所有主题。

https://docs.spring.io/spring-cloud-stream/docs/Brooklyn.RELEASE/reference/html/_configuration_options.html

目的地

绑定中间件上通道的目标目标（例如，RabbitMQ交换或Kafka主题）。如果通道绑定为使用者，则可以将其绑定到多个目标，并且目标名称可以指定为逗号分隔的字符串值。如果未设置，则使用通道名称。

所以我的配置

spring:
  cloud:
    stream:
      default:
        consumer:
          concurrency: 2
          partitioned: true
      bindings:
        # inputs
        input:
          group: application_name_group
          destination: topic-1,topic-2
          content-type: application/json;charset=UTF-8

然后我定义了一个消费者来处理来自所有这些主题的消息。

@Component
@EnableBinding(Sink.class)
public class CommonConsumer {

    private final static Logger logger = LoggerFactory.getLogger(CommonConsumer.class);

    @StreamListener(target = Sink.INPUT)
    public void consumeMessage(final Message<Object> message) {
        logger.info("Received a message: \nmessage:\n{}", message.getPayload());
        // Here I define logic which handles messages depending on message headers and topic.
        // In my case I have configuration which forwards these messages to webhooks, so I need to have mapping topic name -> webhook URI.
    }
}

请注意，在您的情况下，这可能不是一个解决方案。我需要将消息转发到webhooks，这样我就可以进行配置映射。

我还考虑了其他想法。1） 您是没有Spring云的kafka客户端消费者。

2） 创建预定义数量的输入，例如50。

input-1
intput-2
...
intput-50

然后对其中一些输入进行配置。

相关讨论

• 支持动态路由消息的Spring Cloud stream
• https://github.com/spring-cloud/spring-cloud-stream/issues/690
• https://github.com/spring-cloud/spring-cloud-stream/issues/1089

我们使用Spring Cloud 2.1.1版本

Answer 2

我必须为Camel Spring Cloud Stream组件做类似的事情。也许绑定目的地的消费者代码“真的只是一个指示频道名称的String”对您有用？

在我的例子中，我只绑定一个目的地，但是我不认为多个目的地在概念上有多大不同。

以下是它的要点：

    @Override
    protected void doStart() throws Exception {
        SubscribableChannel bindingTarget = createInputBindingTarget();
        bindingTarget.subscribe(message -> {
            // have your way with the received incoming message
        });

        endpoint.getBindingService().bindConsumer(bindingTarget,
                endpoint.getDestination());

       // at this point the binding is done
    }

    /**
     * Create a {@link SubscribableChannel} and register in the
     * {@link org.springframework.context.ApplicationContext}
     */
    private SubscribableChannel createInputBindingTarget() {
        SubscribableChannel channel = endpoint.getBindingTargetFactory()
                .createInputChannel(endpoint.getDestination());
        endpoint.getBeanFactory().registerSingleton(endpoint.getDestination(), channel);
        channel = (SubscribableChannel) endpoint.getBeanFactory().initializeBean(channel,
                endpoint.getDestination());
        return channel;
    }

有关更多上下文，请参阅此处获取完整的源代码。

Answer 3

我最近遇到了类似的情况，下面是我动态创建SubscriberChannel的示例。

    ConsumerProperties consumerProperties = new ConsumerProperties();
    consumerProperties.setMaxAttempts(1); 
    BindingProperties bindingProperties = new BindingProperties();
    bindingProperties.setConsumer(consumerProperties);
    bindingProperties.setDestination(retryTopic);
    bindingProperties.setGroup(consumerGroup);

    bindingServiceProperties.getBindings().put(consumerName, bindingProperties);
    SubscribableChannel channel = (SubscribableChannel)bindingTargetFactory.createInput(consumerName);
    beanFactory.registerSingleton(consumerName, channel);
    channel = (SubscribableChannel)beanFactory.initializeBean(channel, consumerName);
    bindingService.bindConsumer(channel, consumerName);
    channel.subscribe(consumerMessageHandler);