卡 夫 卡
设置
多个独立的源系统将AVRO事件推送到Kafka主题中。KafkaS3接收器连接器从本主题读取AVRO事件，并写入S3拼花格式。
问题
我们的架构注册表中的 AVRO 架构不符合标准。例如，源系统中的十进制字段在架构注册表中具有基类型字符串和逻辑类型十进制。AVRO 中不允许这些类型的组合（十进制逻辑类型必须始终具有基本类型修复/字节。
这些不正确的AVRO模式导致不正确的拼花文件模式。E、 在parquet中，十进制字段具有类型字符串，并且丢失了有关其十进制格式的所有详细信息。
问题
在架构注册表中具有正确的 AVRO 类型的最佳解决方案是什么？我们无法更新源系统以发送正确的类型。
我们应该用自定义逻辑的SMT来处理逻辑类型吗？例如，通过搜索十进制逻辑类型并改变基本类型
共有1个答案
可以使用SMT，但是需要您自己编写，因为您似乎想要递归地修改整个记录。
另一方面，Kafka Streams会让您对数据有更多的控制权，这可能是以您想要编写的格式的“重复”主题为代价的
-
我正在从log4j-slf4j-impl 2.12.0升级到2.17.1。在我之前的代码中，除了 现在我已经升级到2.17.1，我得到了以下错误： org . Apache . Felix . resolver . reason . reason异常:无法解析org . Apache . logging . log4j . slf4j-impl/2 . 17 . 1:缺少需求[org . Apac
-
问题内容： 我有一个主题列表（目前为10个），其规模将来可能会增加。我知道我们可以在每个主题中产生多个线程（每个主题）使用，但是就我而言，如果主题数量增加，那么从主题中使用的线程数量就会增加，这是我不希望的，因为主题不是太频繁地获取数据，因此线程将处于理想状态。 有没有办法让一个消费者从所有主题中消费？如果是，那我们如何实现呢？另外，Kafka将如何维护偏移量？请提出答案。 问题答案： 我们可以使
-
我试图在Karaf 3.0.0-RC1中使用H2数据库加载来获取Scala库，但我遇到了这个错误 有人知道我需要在POM和/或功能中添加什么吗。xml来让它工作吗？ 谢谢，鲍勃
-
是Spring启动应用程序支持Kafka没有动物园管理员。 我可以在牛皮纸模式下设置Kafka，而无需zookeeper。现在我需要知道我必须在Spring启动应用程序中设置什么才能在牛皮纸模式下与Kafka连接。 我用谷歌搜索了一下，在没有动物园管理员的情况下，用kafka在卡夫模式下运行spring-boot应用程序，但我找不到任何示例。 你能知道如何将卡夫模式的kafka与spring bo
-
问题内容： 我对Kafka比较陌生。我已经做了一些实验，但是对于消费者补偿我有些不清楚。根据到目前为止的了解，使用方启动时，将从其读取的偏移量由配置设置确定（如果我输入错了，请更正我）。 现在说，例如，该主题中有10条消息（偏移量0到9），一个消费者在崩溃之前（或我杀死该消费者之前）碰巧消耗了其中的5条消息。然后说我重新启动该使用者进程。我的问题是： 如果将设置为，它是否总是从偏移量0开始消耗？