Kafka生产者发布消息从XML文件到Kafka主题
我有一个用例“XML文件==>Kafka主题==>Build REST API to Query”来自Kafka主题的数据。我熟悉将数据转换为Avro格式，并编写到kafka主题。
您能建议如何发布XML吗？
producer.sendMessage(linenum, line);
public static final String fileName = "testfolder/memberdetails.xml";
public void sendMessage(String key, String value) {
producer.send(
new ProducerRecord<String, String>(topicName, key, value))
System.out.println("Sent message: (" + key + ", " + value + ")");
}
}
共有1个答案
- 使用Kafka Connect和XML转换摄取XML文件
- 使用开源的Confluent REST代理（可以作为Confluent平台的一部分，也可以单独使用）来提供来自Kafka主题的数据
-
我无法将KafkaProducer使用java从Windows（主机操作系统）上的eclipse发送到运行在Hortonworks沙箱上的kafka主题。我的java代码如下所示 当我运行这个java代码时没有错误，它只是打印消息的索引，在本例中只有0，然后终止，我无法在hortonworks沙箱的cmd接口上的console-consumer中看到0。 这是pom.xml依赖项 我可以从制片人那
-
我很感激你在这方面的帮助。 我正在构建一个ApacheKafka消费者，以订阅另一个已经运行的Kafka。现在，我的问题是，当我的制作人将消息推送到服务器时。。。我的消费者没有收到。。我在打印的日志中得到以下信息： 我不确定我是否遗漏了任何重要的配置。。。但是，我可以使用WireShark看到一些来自我的服务器的消息，但是我的消费者没有消费这些消息。。。。 我的代码是示例消费者示例的精确副本：ht
-
我正在使用Spring Boot中的。Java 8 我的主要目的是，消费者不应重复使用信息。 1）调用表获取100行并将其发送到kafka 2） 假设我处理了70行（我得到了成功确认），然后Kafka宕机了（Kafka在RETRY机制计时内无法恢复） 因此，当我重新启动Spring启动应用程序时，我如何确保不再发送这70条消息。 一种选择是我可以在数据库表消息 中使用标志。 还有其他有效的方法吗？
-
我们使用sping-cloud-stream-binder-kafka（3.0.3.RELEASE）向我们的Kafka集群（2.4.1）发送消息。时不时地，其中一个生产者线程会收到NOT_LEADER_FOR_PARTITION异常，甚至超过重试（当前设置为12，由依赖sping-retry激活）。我们限制了重试，因为我们发送了大约1kmsg/s（每个生产者实例），并且担心缓冲区的大小。这样我们会
-
向Kafka推送100,000条消息 在使用者使用所有100,000条消息之前，使用Ctrl-C关闭zookeeper和kafka服务（这是通过在consumer方法中使用来模拟的）。 发现 在zookeeper和kafka服务被关闭后，消费者继续在控制台上写消息。 问题 我如何使消费者从上次消费的消息的索引+1继续。 向Kafka推送100,000条消息 在使用者使用所有100,000条消息之前
-
我们有一个制作人 在开发过程中，我重新部署了producer应用程序，并做了一些更改。但在此之后，我的消费者没有收到任何消息。我尝试重新启动消费者，但没有成功。问题可能是什么和/或如何解决？ 消费者配置： 生产者配置： 编辑2： 5分钟后，消费者应用程序死亡，但以下情况除外：