在Spring-Cloud-Stream中是否有支持或计划支持avro和/或来自汇流平台的模式注册表?我发现spring-integration-kafka 1.3.0版中存在对avro的依赖,而spring-cloud-stream-binder-kafka的主分支(2.0)和spring-kafka没有任何avro依赖。
是的,
我们确实打算支持Avro和其他格式,以及模式注册表和进化。这里有一个开放的问题:https://github.com/spring-cloud/spring-cloud-stream/issues/512
现在,可以通过使用编解码器和/或MessageConverter以更复杂的方式实现这一点,例如:https://github.com/viniciusccarvalho/schema-evolution-samples(它充当前者的POC)。这个例子稍微详细一点,因为它的目标是支持模式演进,但是注册一个使用Avro(而不是Kryo默认)的编解码器是可能的。
我已经建立了一个生产者Spring云流应用程序和Kafka作为活页夹。以下是application.yml: 我有两个实例(同一个应用程序运行在一个jvm上)作为消费者。以下是application.yml: 我对Kafka群体的理解是,对于同一群体中的消费者来说,消息只会被消费一次。假设生产者应用程序产生消息A、B,而同一组中有两个消费者应用程序,则消息A将由消费者1读取,消息B、C将由消费者2
对于具有多个分区的主题- 1)单个SpringBoot实例是否使用多个线程来处理来自每个分区的每个消息(使用StreamListener注释的方法)? 2)是否可以为每个分区配置多个线程,或者我必须手动从监听器线程切换到工作池?
我们正在使用spring cloude stream 2.0 现在在Spring Cloud stream 2.0中,有一种使用执行器管理绑定器生命周期的方法:绑定可视化和控制 是否可以从代码控制绑定器的生命周期,这意味着在目标服务器关闭的情况下,绑定器,当它启动时,?
正在尝试读取avro文件。 无法将运行到Avro架构的数据转换为Spark SQL StructType:[“null”,“string”] 尝试手动创建架构,但现在遇到以下情况: 通用域名格式。databricks。火花阿夫罗。SchemaConverters$CompatibleSchemaException:无法将Avro架构转换为catalyst类型,因为路径处的架构不兼容(avroTyp
我有一个avro格式的数据流(json编码),需要存储为镶木地板文件。我只能这样做, 把df写成拼花地板。 这里的模式是从json中推断出来的。但是我已经有了avsc文件,我不希望spark从json中推断出模式。 以上述方式,parquet文件将模式信息存储为StructType,而不是avro.record.type。是否也有存储avro模式信息的方法。 火花 - 1.4.1
您能说Apache Karaf包括以下内容吗?其中包括: Apache Felix(它是OSGi 4.2框架的实现) Apache Aries(它是Blueprint标准的实现)