当前位置: 首页 > 知识库问答 >
问题:

在AK上部署Spring-Cloud-Data-Flow时,如何指定使用外部托管的Kafka集群

贺玉石
2023-03-14

我尝试了基于helm的SCDF部署(https://docs.spring.io/spring-cloud-dataflow-server-kubernetes/docs/current-snapshot/reference/htmlsingle/#_helm_installation),这可以使用基于RabbitMQ或基于Kafka的消息传递系统-这两个选项都可以部署在helm图表中。但是,我的项目已经有了运行在Confluent cloud上的自己的Kafka实例,我希望用它来代替“内部”实例。然后,我还尝试了SCDF的Kubectl部署(https://docs.spring.io/spring-cloud-dataflow-server-kubernetes/docs/current-snapshot/reference/htmlsingle/#_deploying_with_code_kubectl_code),并看到我需要再次运行两个消息传递组件中的一个。我想知道配置SCDF以使用我自己的Kafka实例的最佳方法--有人能透露任何一个吗?

共有1个答案

钱德海
2023-03-14

上面的文档引用非常旧,因此,您可能需要更新到最新的文档引用。

关于SCDF的最新消息,您也需要参考这里,还有一个SCDF微站点您也可以参考。

为了回答您的具体问题,由于Apache Kafka被用作流应用程序中的绑定器,您有两个选项来设置外部Kafka集群配置:

    null
data:
  application.yaml: |-
    spring:
      cloud:
        skipper:
          server:
            platform:
              kubernetes:
                accounts:
                  default:
                    environmentVariables: 'SPRING_CLOUD_STREAM_KAFKA_BINDER_BROKERS=${KAFKA_SERVICE_HOST}:${KAFKA_SERVICE_PORT},SPRING_CLOUD_STREAM_KAFKA_BINDER_ZK_NODES=${KAFKA_ZK_SERVICE_HOST}:${KAFKA_ZK_SERVICE_PORT}'

    null
 类似资料:
  • 目前,我“手动”编排这3个组件,但我希望使用Spring Cloud Data Flow(SCDF)来创建流,并能够更好地操作它们。 根据SCDF文档,任何SCS应用程序都可以直接用作要在流中定义的应用程序。除此之外,应用程序的属性可以通过外部属性文件提供。但是,我提供了我的'application.yml'属性文件,但它不起作用: 经过一些研究,我意识到文档声明任何应用程序的任何属性都必须以这种

  • 我遇到的问题是使用Spring Cloud数据流(SCDF)通过环境移动数据以将数据移动到正确的位置。以下是情况: 我 有一个Kafka的生产版本,我只能订阅(只读)。(3 节点群集:节点 1:9092,节点 2:9092,节点 3:9092) 我有一个在 Kubernetes 集群中运行的 SCDF 实例,该集群使用 RabbitMQ 主干(全部在一台服务器上) 我有一个 Node Kafka

  • 我写了Kafka流应用程序,我想把它部署在Kafka集群上。因此,我构建了一个jar文件,并使用以下命令运行它:

  • Spring Cloud Data Flow 是基于原生云对 Spring XD 的重新设计,该项目目标是简化大数据应用的开发。 Spring Cloud Data Flow 简化了专注于数据流处理的应用程序的开发和部署。它的体系结构包含的主要概念有:应用程序、Data Flow Server 和运行时环境。 Spring Cloud Data Flow 为基于微服务的分布式流处理和批处理数据通道

  • 我正在尝试使用 Strimzi 部署 Kafka,问题是,它将 Kafka 代理暴露为负载均衡器并为其分配外部 IP。我希望 Kafka 代理在内部可用,并且仅通过负载均衡器公开。下面是我的部署文件。 下面的集群截图 如您所见,有 3 个分配了外部 IP 的负载均衡器,而我希望它是一个具有外部 IP 的负载均衡器和 2 个 Kafka 代理。

  • 我在谷歌云上部署了Kafka,我把监听器改为 我可以拿到经纪人的话题。然而,当我试图生成消息给Kafka经纪人时 sudo./bin/kafka-console-producer.sh--broker-list[外部IP地址]:9092--topic test 出现以下错误: 向主题测试发送消息时出现错误,键:null,值:5字节,错误:(org.apache.kafka.clients.prod