我有一个运行良好的Spring启动应用程序,直到我在我的应用程序中包含Kafka消费者和生产者。运行完全没有问题的代码是有一个restController,如下所示: 这个rest终点给出了期望的响应。现在,我包括Kafka制作人和消费者 在包含这些消费者和生产者之后,我的应用程序没有启动。我没有看到之前应用程序运行正常时显示的以下行。 2019-12-12 15:01:12.090信息38376
我正在运行spring boot,KafkaListener是我的客户。问题是我们如何从失败的kafka配置中恢复,并避免应用程序在退出代码为0的过程结束时停止。例如,不正确的配置可能是不正确的endpointurl。如果无法访问Kafka服务器,也会出现同样的情况。因此,在任何情况下,KafkaListner进程都不应该杀死服务器。 ontext.java:895应用程序上下文异常:未能启动be
我正在创建一个自定义记录器,在这里我们可以登录到std out和std err,但也可以登录到kafka(代码示例如下:https://github.com/roppa/kafka-go). 我们有多个主题,所以我们需要多个记录器,但当我们使用多个时,就会发生一些奇怪的事情。当Kafka围棋的两个设置都是异步的时,我不会收到消费者消息,当一个是异步的,另一个是同步的时,我们会得到如下结果: 更改同
我有一个场景,必须通过服务层中RESTAPI的触发器发布多条消息。 此服务还具有db操作(插入、更新)。这里的要求是,如果存在导致publisher无法发布的问题的网络问题,或者当kafka broker不可用时,我们希望回滚包括数据库在内的所有内容,并通过API响应通知用户它失败。 问题1:是否可以通过启用Kafka事务性来实现需求? 据我所知,默认情况下,同一事务中的数据库将首先提交,然后由K
我试图找出如何在事务上下文中正确处理原子级的对Kafka的多次写入。在此场景中,事务不是由kafka消息侦听器启动的,而是通过@Transactional注释以编程方式启动的,请参见下面的代码段。 我使用的是spring boot 2.4.2和spring kafka 2.6.5。 KafkaProducer文档指出,在事务上下文中,不需要调用。get(),因为它最终会在尝试提交事务时引发异常。此
spring版本:2.1.4。发布spring kafka:2.2.5 apache kafka:1.1.0 zoopkeepr:3.4.9 framewrok:Spring防尘套 我正在为我的应用程序使用ChainedKafkaTransactionManager。我有时会遇到ProducerFencedException(10次中有5次),而且数据库中也没有发生回滚(MySQL、spring
我正在开发一个路由器(事件代理)应用程序与Spring云流在Kafka,在功能范式。应用程序从不断输入的主题消耗,映射和过滤消息,然后应该根据一些输入字段将其发送到某个主题(一次只有单个消息,而不是多个结果)。 最好的方法是设置Spring。云流动发送到。输出消息的目标标题?如果是这样,我应该如何为生产者设置绑定?
我需要使用启用的kafka和Spring Boot连接到事件中心,并且我有连接字符串和名称空间,应该在哪里连接。 我使用这样的依赖关系 我找到了一个教程,我需要从我的本地机器使用az login登录到azure并创建auth文件,但是我被提供了应该使用的连接字符串,所以有没有任何方法可以使用如下命名空间指定仅连接字符串: 因为现在正在抱怨缺少资源组。 我应该如何连接到EventHub?
我开始将我的spring云应用程序与docker compose文件中托管的kafka和zookeeper连接,它们是连接的,但当我运行应用程序并期望制作人发布消息时,什么也得不到。。。我不知道错误是什么,我遵循以下示例:https://github.com/ihuaylupo/manning-smia/tree/master/chapter10/licensing-service/src/mai
我们正在为Kafka使用Spring Cloud Stream,并寻找精确的一次性语义。我们有一个解决方案,正如预期的那样运行良好1)启用幂等元 但现在我们发现有一个属性(producer.sendfoffsetstotransaction)Kafka API,它可以帮助我们修复消费者端的重复处理,而无需任何元数据存储逻辑。现在,我不确定如何使用具有此属性的spring cloud stream实
我有一个场景,我看到了不同的行为。共有3种不同的服务 第一个服务将从Solace队列监听并将其生成到kafka topic-1(启用事务的地方) 第二服务将从上面的kafka主题-1监听并将其写入另一个kafka主题-2(我们没有手动提交,启用事务以生成到其他主题,自动提交偏移为false 现在,在我在第二个服务中启用事务和隔离级别后,问题是我无法读取任何消息,如果我在第二个服务中禁用了事务,我就
因此,我认为我自己陷入了困惑,因为我知道SpringCloudStreams有两种不同的Kafka活页夹: 《春云流》Kafka活页夹 我正在寻找正确的YAML设置,以便在spring cloud streams的常规kafka活页夹中定义序列化器和反序列化器: 我可以使用以下逻辑调整默认值: 即: 我想我应该能够在每个主题的基础上做到这一点: 我遇到了设置: 但这似乎不起作用。我可以设置一个简单
如何使用Spring Cloud Stream Kafka Binder为生产者启用压缩(例如GZIP)?
我一直在学习Quarkus,这很好。我很享受它与其他东西的完美结合。 我一直在按照本指南(https://quarkus.io/guides/kafka)将Quarkus与Apache Kafka一起使用,我有点生气为什么我们需要在application.properties文件中指定接收器和源“endpoint”?“通道”。这些难道不是代码中内容的重复吗?也许我不明白这里的一些东西,但我认为不需
我有一个简单的反应式Kafka生产者,我需要它来手动提交事务。在Reactor Kafka for method begin()中的javadoc之后,我创建了一个producer方法 其配置为 它运行良好,我正在向Kafka发送消息。但现在我需要保护它,使其免受我们公司潜在Kafka/网络中断的影响。为了模拟这种情况,我停止了我的Kafkadocker,发送了一条消息,一段时间后再次启动Kafk