我正在尝试将融合模式注册表部署到我们的内部AWS基础设施(ECS)中,以便它可以作为RESTAPI使用。完整图像已从Confluent获得,网址为: https://hub.docker.com/r/confluentinc/cp-schema-registry 我创建了一个Dockerfile,用于部署具有以下配置的Dockerfile: 我需要为同一服务启用身份验证和授权。根据我的理解,可以通
Kafka流之外的应用程序可以使用融合模式注册表吗?我特别感兴趣的是将此组件用于Apache Kafka以外的消息队列,例如云发布/订阅。根据调查,该组件似乎与使用融合平台的应用程序紧密耦合。
融合模式注册表底层存储在Kafka中_schema主题下的所有模式。是否可以将此后端存储主题拆分为_schema1和_schema2等倍数? 为什么因为在我的生产用例中我想存储1000多个模式,所以分离后端存储会使主题的负载更少。 此外,融合模式注册表是否支持Kafka主题以外的后端存储?
我们正在开发并尝试删除主题的模式,因为更改与旧模式不兼容。 我们删除了模式/主题,并尝试使用相同的主题名称创建新模式,成功创建了模式。 然而,当我们运行应用程序时,它仍然指向相同的模式ID。 旧模式ID(主题“topic1”):51 新架构ID(主题“topic1”):52 应用程序在反序列化消息时出错 <代码>root@bas:/#curl-khttps://schemaregistry:443
我正在使用融合模式注册表和Avro,我想在一个Kafka主题中使用多个模式。 默认主题命名策略不允许这样做,因为它将模式主题名称与主题名称耦合。显然可以覆盖它并将主题命名策略设置为或。 不幸的是,留档不太清楚如何或在哪里可以覆盖主题命名策略。 本文档建议您在创建或修改主题时提供配置: 从Confluent Platform 5.5.0开始,命名策略与主题相关联。因此,您现在可以选择在每个主题的基础
在PySpark中或者至少在Scala中,Apache Spark中是否有与Pandas Melt函数等价的函数? 到目前为止,我一直在用Python运行一个示例数据集,现在我想对整个数据集使用Spark。
是否有在不使用模式注册表的情况下使用Avro规范记录模式的选项?
因此,主要的问题是:如何保留已有的模型数据并将新的数据添加到模型中? 谢谢
我们目前正试图将融合复制器迁移到Apache开源镜像制作者v2.0。我们面临的问题是,当镜像制作器在同一主题上启动时,复制器已经复制的消息再次被复制。当消息在目标群集上重复时,不应发生这种情况。以下是更多详细信息: RCA:复制器分配一个用于复制消息的消费者组。该消费者组维护源主题的偏移量。但是我们无法将相同的消费者组分配给镜像制造商2中的消费者配置。 Mirror Maker 1.0:可以在co
请帮助解决这个问题,我创建了一个融合表使用谷歌服务帐户ie使用key.p12,服务帐户电子邮件,服务帐户激活融合表。(Refernce,Alejendro的伟大帖子,链接:如何使用Oauth v2在融合表中进行身份验证) 在调试期间(Spring maven项目)-我确实看到了新创建的表-然后,我插入了行数据-然后,看到了带有行数据的表-最后,我显示了带有完整数据的表 此时,表是在Google D
我一直试图理解和展示Java流如何在引擎盖下实现一种类型的循环融合,从而可以将几个操作融合到一个pass中。 这里的第一个例子是: 具有以下输出(对每一个元素的单一传递融合相当清楚): 所以我的问题是,在调用distinct时,我认为因为它是一个“有状态”的中间操作,所以它不允许在(所有操作的)一次传递过程中单独处理单个元素,这是正确的吗。此外,因为sorted()状态操作需要处理整个输入流以产生
有可能将融合模式注册与AWS MSK集成吗?如果你以前这样做过,你能提供一些你实现它的方法/博客吗?
因此,我们正在寻找防止这种融合发生的方法,因此数据流将窗口与窗口的后处理分开。这样,我们期望Dataflow能够再次分配多个工作人员来进行激发窗口的后处理。 到目前为止我们所尝试的: null 最后两个操作确实创建了第三个集群操作(1/processing2/windowing3/post-processing),但我们注意到,在开窗之后,仍然是同一个worker在执行所有操作。 是否有任何解决方
我在wsl 2(Ubuntu发行版)中运行Confluent Platform,也在Windows上运行一个Spring应用程序,但是当我用producer发送一条消息时,出现了以下错误: 无法建立与节点 -1(本地主机/127.0.0.1:9092)的连接。经纪人可能不可用。引导代理本地主机:9092 (id: -1 机架: 空) 断开连接 我看看这篇文章:https://www.conflue