《kafka》专题

我没有在Kafka工作太多，但想在GCE中建立数据管道。所以我们想知道Kafka对酒吧/潜艇。基本上，我想知道在Kafka和pub/sub中是如何保持消息一致性、消息可用性和消息可靠性的 谢谢

尝试以下命令时使用kafka-avro控制台生产者cli 我有这个错误 因为我对我的主题使用的不是TopicNameStrategy，而是RecordNameStrategy。我想指定它，请问如何找到允许设置cli使用的主题名称的属性？ 注：我，自从我找到这个https://github.com/confluentinc/schema-registry/blob/a0a04628687a72ac6

我有一个问题与产生的消息Kafka的主题。 我使用来自外部供应商的Kafka管理服务，所以我问他经纪人的状况，他说一切都好。顺便说一句，它发生在三个不同的Kafka实例上。Kafka客户端版本也无关紧要-0.11.0.0和2.0.1都有。

在spring kafka中是否有配置SpecificAvroSerdes（或任何基于模式注册表的serdes-JsonSchema和Protobuf）的示例，允许利用一些自动配置（基于yaml或属性文件）。 在SO中有一些类似的问题，比如如何使用Spring Kafka使用合流模式注册表读取AVRO消息？ 但我想具体介绍一下Kafka流serdes和serdes的声明性配置。 非常感谢。

是否可以验证/筛选发送到Kafka主题的消息？

这是我的producer microservice kafka配置： 我发送的信息如下： 我和制片人没有任何问题， 这是消费者微服务Kafka配置： 使用相同的配置，但使用Object的字符串istead，或使用自定义对象替代，我得到以下stacktrace： 对于让生产者和消费者参与不同的服务，你有什么建议吗？ [编辑]我正在添加侦听器，因为有人问： 请注意，在两个项目中都使用相同的参数定义了消

我正在尝试使用kafka-avro-convore-生产者发布一条具有键（带有模式）和值（带有模式）的消息。kafka环境（kafka的conFluent 6.2.0版本、连接、zoomaster、模式注册表）都正确启动，我可以确认我的连接器已安装。问题是当我发送消息时，我的Sink连接器失败并出现我无法诊断的错误。 感谢您的帮助： 我生成一条AVRO消息，如下所示： 并在连接日志中接收以下错误：

（最终目标）在尝试是否最终可以从Confluent平台读取avro数据usng spark stream之前，如这里所述：将spark结构化流与Confluent Schema Registry集成 我要验证是否可以使用以下命令来读取它们： 我收到这个错误消息，未知的魔法字节 注意，可以这样读取消息（使用console consumer而不是avro console consumer）： 该消息是

我正在编写一个REST代理，就像合流REST代理一样。它接受JSON负载、模式主题和id，然后将JSON负载作为Avro对象写入流中。当我使用kafka avro控制台消费者阅读消息时，我收到了“未知魔法字节”错误。 这是我的Kafka制作人配置： 这就是REST控制器如何将传入的JSON转换为Avro 这是toAvro方法的实现： 然后将此对象传递给我使用上面给出的属性配置的SchemaVali

有没有办法允许（Spring Cloud Stream）应用程序在融合云中自动创建所需的主题？ 到目前为止，我不得不手动创建它们，当您考虑还必须设置变更日志主题时，这很容易出错。

我们正在开发一个应用程序，我们想听Kafka中不止一个主题。所有主题都有一个分区。所有主题名称都有一个公共的前缀，例如“test-x”、“test-y”，所以我们可以对它使用spring。 我们希望编写一个java spring使用者，它使用模式监听所有主题。我们的想法是，我们可以运行同一个消费者（属于同一个组）的多个实例，Kafka将为不同的消费者分发来自不同主题的消息。 然而，这似乎并不奏效。

如何以可伸缩的方式编写连接多个Kafka主题的使用者？ 我有一个主题用一个键发布事件，第二个主题用相同的键发布与第一个主题的子集相关的其他事件。我想编写一个订阅这两个主题的使用者，并为出现在这两个主题中的子集执行一些额外的操作。 理想情况下，我需要将主题绑定在一起，以便以相同的方式对它们进行分区，并同步地将分区分配给使用者。我怎么能这么做？ 我知道Kafka Streams将主题连接在一起，这样键

另一个，如果我有另一个应用程序使用相同的使用者组，所有的分区会被重新分配到该应用程序吗？

Spring Boot 1.5.x、Spring Boot 2.4.x、Apache Kafka 0.10.2 情况 问题 是否有Spring Boot/Spring Kafka正在设置的设置或属性会导致一两天内未使用空闲主题中的任何记录的用户从用户组中删除？ 如果是，可以关闭吗？有什么缺点？ 如果没有，是否有一种方法可以重新加入消费者组而不必重新启动服务？有什么缺点？

我对confluent Kafka不熟悉，能够与Avro一起经营confluent Kafka及其制作人和消费者。在本指南的帮助下，我已使用这些命令注册了我的新架构： 以下是我的注册表python代码： 一切正常，我的制作人发送avro数据，我正在使用C#在我的客户机上接收数据。但现在我想用基本身份验证凭据实现模式注册表。出于这个原因，我在google上找到了这个链接，这让我很困惑。例如，它声明使