因此,在aws实例中,我们尝试将spring kafka与msk连接起来,在msk中使用本地kafka。接下来没有ssl。我试着用telnet运行它。但是在运行应用程序时,出现了这个异常。
我们的msk集群在同一个vpc中。所有代理连接配置字符串都正常
Map<String, Object> configProps = new HashMap<>();
configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, env.getProperty("spring.kafka.producer.bootstrap-servers"));
configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
因此,我提出了一个解决方案,其中我使用了Confluent提供的kafka-rest-proxy
,我用AWS MSK
配置了它,它对我有效
我将kafka-connect docker映像()部署到ECS/fargate,为我的ECS服务分配了一个安全组,该安全组允许传入的zooper keeper和kafka bootstrap服务器通信量(纯文本和TLS),并分配了一个IAM角色,该角色允许我的ECS任务对MSK集群运行kafka操作,但connect集群在尝试从MSK集群获取代理列表时仍会超时。 在AWS中,kafka conn
我正试图找出如何创建一个工作Kafka生产者对一个AWS MSK集群。集群启用了TLS和SASL/scram。这是我第一次使用Kafka,关于这方面的文档相当少。我目前拥有的针对未加密本地群集的代码是: 我有字符串类型变量和,它们是从AWS秘密管理器中提取的,包含集群的用户名和密码。我还需要指定哪些其他属性? AWS和Kafka网站上的文档都是关于在本地文件系统上生成JAAS和truststore
响应消息:java.sql.SQLException:无法创建PoolableConnectionFactory(ORA-00604:递归SQL级别1 ORA-12705发生错误:无法访问NLS数据文件或指定的无效环境)
我有一个Spring启动应用程序,它使用来自 Kafka 集群中某个主题(例如 topic1)的消息。这就是我的代码目前的样子。 现在我想从另一个Kafka集群中的不同主题开始消费。一种方法是为此创建另一个bean。但是有更好的方法吗?
我们使用S3接收器连接器从MSK自动气象站的S3桶中接收数据。 我们已经在AWS EKS(Kubernetes)上部署了KafkaS3水槽连接器 当我们启动连接器时,当 S3 存储桶上发生分段上传时出现以下错误。 我们对S3存储桶有策略限制,因为启用了服务器端加密(AWS-KMS),即如果没有KMS密钥,我们无法上传。 下面是我们用于连接器的配置,下面是错误详细信息,供您参考。 好心帮忙 {"na
我一直在尝试创建一个MSK连接器,并使用Glue schema注册表。配置如下。 首先,我使用运行在EC2上的合流模式注册中心,我在“key/value . converter . schema . registry . URL”字段中添加了EC2的ip,它工作得很好。现在我尝试使用Glue Schema Registry。但是我不知道如何用Glue Schema Registry连接连接器。