当前位置: 首页 > 知识库问答 >
问题:

融合模式注册表划分后端存储Kafka主题

姚烨
2023-03-14

融合模式注册表底层存储在Kafka中_schema主题下的所有模式。是否可以将此后端存储主题拆分为_schema1和_schema2等倍数?

为什么因为在我的生产用例中我想存储1000多个模式,所以分离后端存储会使主题的负载更少。

此外,融合模式注册表是否支持Kafka主题以外的后端存储?

共有1个答案

苏高峰
2023-03-14

不可能分裂,不;在工作中,我们有1000多个模式,注册表运行良好。

“主题加载”不是您将遇到的问题,而是注册表服务器的堆使用情况,因为模式存储在多个哈希映射中

汇合注册表的后端存储不可通过配置覆盖;您必须分叉代码,交换KafkaStore接口,然后重新编译(还没有完成,但查看了足够的源代码以获得一般概念)。

 类似资料:
  • 我现在一直在查看Spring Cloud模式注册表和汇合模式注册表。我可以看到一些区别,例如Spring Cloud模式注册表将模式保存在普通数据库中,默认情况下保存在h2中,而汇合模式注册表保存在kafka主题中。 spring云模式注册表的这种方法是否会对性能产生任何影响。据我所知,即使数据保留在主题上,以防汇合,查询它时仍然会有延迟。但会有重大影响吗? 我还可以看到,spring云模式注册表

  • 我使用来自Confluent的Kafka Connect来使用Kafka流并以拼花格式写入HDFS。我正在1个节点中使用架构注册表服务,它运行良好。现在我想将模式注册表分发到集群模式以处理故障转移。关于如何实现这一点的任何链接或片段都将非常有用。

  • 我们正在开发并尝试删除主题的模式,因为更改与旧模式不兼容。 我们删除了模式/主题,并尝试使用相同的主题名称创建新模式,成功创建了模式。 然而,当我们运行应用程序时,它仍然指向相同的模式ID。 旧模式ID(主题“topic1”):51 新架构ID(主题“topic1”):52 应用程序在反序列化消息时出错 <代码>root@bas:/#curl-khttps://schemaregistry:443

  • 我有一个关于使用Kafka和主题(Kafka代理)和主题(Schema注册表)的不同名称设置流处理器的问题。 首先,任何操作似乎都可以与 Kafka 代理和模式注册表一起工作,但是如果处理器收到该事件,则模式注册表将魔术开始。 而不是将abc作为主题发送到模式注册表abc。bla将被发送。架构注册表的回答为“未找到”。 预期:localhost:8081/subjects/ABC/versions

  • 合流模式注册表当前支持json模式。spring kafka是否支持json模式? 使用此配置,带有spring kafka的Avro运行良好 但如何配置spring kafka以使用json模式汇合模式注册表?

  • 我正在尝试使用Confluent schema registry,下面是我在Github中找到的一些示例(https://github.com/gAmUssA/springboot-kafka-avro). 当消费者和生产者与模型共享相同的命名空间而不是其工作时。 当使用者位于具有不同名称空间但具有相同类(名称和属性方面)的不同项目中时,它不工作。 合流Avro反序列化程序可以使用正确的值反序列化