《kafka》专题

我已经使用 kafka-connect s3 接收器连接器将一些来自主题（例如 ）的 avro 消息上传到 Amazon s3 存储桶，例如 。接收器连接器的配置如下所示： 这按预期工作，所有消息都是相同的记录，具有相同的架构版本，我将5写入主题并在我的存储桶中看到一个带有路径的s3对象 现在我想将这些存储的消息放到另一个空主题上。我使用以下配置启动 s3 源连接器： 当我查看kafka-conn

我有一个需求，即我们应用程序之外的源将在S3存储桶中放置一个文件，我们必须在kafka主题中加载该文件。我正在查看ConFluent的S3 Source连接器，目前正在努力定义在我们的环境中设置连接器的配置。但是有几篇文章指出，只有在您使用S3 Sink连接器将文件放在S3中时，才能使用S3 Source连接器。 以上是真的吗？在配置中，我在哪里/使用什么属性来定义输出主题？当阅读S3的文章并把它

我已经在我的虚拟机中安装了docker confluentinc/cp-kafka-connect：4.0.0映像。我有兴趣获取 kafka 主题，它是镶木地板格式的 hdfs 纯文本数据（字符串格式）。 我完成了以下配置。 /etc/kafka/connect-standard.properties /etc/Kafka-connect-HDFS/快速启动-hdfs.properties 在独立

更新后出错 连接独立属性文件 连接帖子属性文件 上面的错误是当我通过apache kafka./bin/connect-standalone.shconfig/connect-standalone.propertiesconfig.postgresql.properties时引起的。 然后，我尝试并实现了本链接中提到的流程： https://hellokoding.com/kafka-connec

我正在阅读一个已经创建的Kafka主题，在这个主题上，一个单独的集群正在产生一些键和值。我的最终目标是以JSON格式写HDFS，为此我已经用Kafka HDFS Sink 5.3做了一段时间的实验。我面临的问题是，我无法将该主题的所有记录摄取并写入HDFS。到目前为止，如果我的主题包含每小时数百万条记录的数据，我只能写10万条记录。 以下是我用于kafka-connect-standalone.p

我想使用filepulse连接器将xml文件加载到kafka。 以下是我的环境： < li>Win10 WSL，已安装Ubuntu < li >下载了融合平台5.5.1(请参见“https://www . confluent . io/download/”)，已解压缩 < li >从github下载zip文件版本1 . 5 . 2(https://github . com/stream thoug

主题中的Kafka数据可以被流式传输、消费和吸收到BigQuery/云存储中，有哪些可能的选项。 按照，是否可以将Kafka与Google cloud Dataflow一起使用 GCP自带Dataflow,它建立在Apache Beam编程模型之上。KafkaIO与Beam Pipeline一起使用是对传入数据执行实时转换的推荐方式吗？ https://beam.apache.org/releas

已经有一段时间没有使用SAGAs和（和)了。 上下文：有几个(3+)微服务必须跨越业务事务，以便最终保持数据的一致状态。它们使用每个服务的数据库方法（每个服务将数据存储在Postgres中），并通过Kafka作为事件存储进行协作。 我将应用SAGA（无论是编排还是编排方法，让我们坚持第一种方法）来管理多个服务上的事务。 提前致谢

我需要从配置文件动态创建kafka流，其中包含每个流的源主题名称和配置。应用程序需要有几十个Kafka流和流将是不同的每个环境（例如阶段，prod）。它可能做到这一点与库？ 我们可以通过轻松做到这一点： 我们需要实现spring接口，这样所有流都将自动启动和关闭。 是否可以使用做同样的事情？正如我所看到的，我们需要在代码中创建每个Kafka流，我看不到如何使用创建Kafka流列表的可能性。 但是如

我正在尝试通过SCSt频道构建并获取KTable。但这并不奏效。输入KTable没有数据，但如果我尝试查看KSTream聚合（toStream（）），我可以看到一些数据。我明白了，KTable是不可查询的，它没有可查询的名称。 类别： 绑定: application.yml：

现在我正在尝试用kafka创建消息服务功能以使用< code > spring-cloud-stream-bind-Kafka ，但效果不太好。 Spring罩1.4.2 当我使用此错误日志启动项目时失败 我在怀疑我的春靴版本。这么低配的版本。< br >我认为< code > spring-cloud-stream-binder-Kafka 在spring boot 2.0版本下无法使用或者其他

我们有一个要求，我们正在消费来自一个主题的消息，然后发生了一些丰富，然后我们将消息发布到另一个主题。以下是事件 使用者 - 使用消息 扩充 - 扩充使用的消息 制作人 - 已发布 向其他主题发送的丰富消息 我正在使用Spring cloud kafka binder，一切正常。突然，我们观察到生产者正在向主题发送重复的消息，然后我们使生产者是幂等的。为了更好地控制，我们将autocommitOff

我正在尝试在非spring应用程序中集成一个基于Spring Boot云流的库和Kafka。 当此库在另一个Spring应用程序中加载时，一切正常。 当我尝试使用启用非Spring启动的应用程序初始化应用程序上下文并获取我的bean时，我收到以下警告和异常：

我正试图与Kafka建立一个Spring云流项目。除密钥反序列化外，一切都按预期运行。这些文件是pom.xml： 消费者和主要阶层 一个控制器，它使用 StreamBridge 按需发送 kafka 消息（注意 streamBridge 正在尝试将消息键标头作为字符串发送） 模型类 最后这是应用程序。yml 当我尝试通过控制器发送消息时，我收到以下错误： 问题似乎是 kafka 生产者和消费者没有

想改进这个问题吗 通过编辑此帖子，更新问题，以便用事实和引用来回答。 最初的关闭原因未得到解决 我正在开发Apache Kafka。我想知道哪一个更好：Kafka和ActiveMQ。这两种技术的主要区别是什么？我想在Spring MVC中实现Kafka。