当前位置: 首页 > 知识库问答 >
问题:

Kafka只有一次与其他目的地

齐招
2023-03-14

我用的是Kafka2,看起来只有一次

  1. Kafka流
  2. Kafka读取/转换/写入事务生产者
  3. Kafka连接

在这里,上述所有工作在主题之间(源和目标是主题)。

有可能与其他目的地只进行一次航班吗?

共有1个答案

葛承嗣
2023-03-14

Connect的源和目的地(汇)不仅是主题,而且您使用的连接器决定了传递语义,并非所有的都是一次的

例如,JDBC源连接器轮询数据库可能会丢失一些记录

来自Kafka的Sink Connectors将发送来自主题的每条消息,但由下游系统来确认检索

 类似资料:
  • 我试图用事务性生产者/消费者来准确地理解Kafka。 我遇到了下面的例子。但是,我还是很难准确地理解一次。这个代码正确吗? 制作人sendOffsetsToTransaction-此代码的作用是什么?这是否应该针对同一个目标主题? 什么是消费者之前的系统崩溃。commitSync();//将再次读取相同的消息并生成重复消息?

  • 我的目标是从主题A消费,做一些处理和生产到主题B,作为单个原子动作。要做到这一点,我有两种选择: null 我已成功验证选项#1。所谓成功,是指如果我的处理失败(抛出IllegalArgumentException),来自主题A的已消费消息将继续被KafKalistener消费。这是我所期望的,因为没有提交偏移量,而使用了DefaultAfterRollbackProcessor。 我希望看到相同

  • 关于合流博客 只有一次语义是可能的:Kafka就是这样做的 精确一次语义学:即使生产者重试发送消息,它也会导致消息仅一次传递给最终消费者。精确一次语义学是最理想的保证,但也是一个很少被理解的保证。这是因为它需要消息传递系统本身与生成和消费消息的应用程序之间的合作。例如,如果在成功消费消息后,您将Kafka消费者倒带到上一个偏移量,您将再次收到从该偏移量到最新偏移量的所有消息。这说明了为什么消息传递

  • 当我只打开一次处理时,我会得到以下错误。注意:我们的应用程序非常安全,我们只允许Kafka用户和消费者访问他们明确需要的资源。 只有一次处理kafka流是否在所有流任务中使用每个流任务的消费者组而不是消费者组?

  • 我正在尝试向我的手风琴添加一个交互式id,但我的代码中出现了一些问题,手风琴打开了每个手风琴项目,我只想在单击它时能够一次打开一个手风琴项目。