《kafka》专题

由于未触发SleuthKafkaAspect.WrapProducerFactory（）方法，跟踪信息不会通过kafka消息传播。在生产者端，消息被正确发送，跟踪信息被正确记录。在消费者端，将创建一个新的traceId和spanId。 以下两个日志记录行显示了traceId、spanId（和parentId）的不同值： 首先，使用Krafdrop和调试，我验证了消息头不包含任何跟踪信息。 之后，我

我目前有一个Spring批处理作业，只需一个步骤即可从Oracle读取数据，通过多个Spring批处理处理器（）传递数据，并将数据写入不同的目标，如Oracle和文件（）： 在上述步骤中，配置了两个写入程序，它们一个接一个地运行，向Oracle写入1亿条记录和一个文件。另外，有一个同步读取方法，以确保多个线程不会从Oracle读取相同的数据。从今天开始，这项工作需要1小时30分钟才能完成。 我计划

我使用https://doc.akka.io/docs/alpakka-kafka/current/consumer.html从kafka使用数据，如下所示： 接下来，我将通过akka http websocket客户端将收到的结果转发到webserver 以下是如何构建websocket客户端： 我有两个问题： > 如何将消费者和websocket客户端组合成一个流，并让它将消息发送到Web服务

我正在尝试kafka connect hdfs接收器连接器，以便将json数据从kafka移动到hdfs。 即使在kafka中的json数据具有模式和有效负载时，kafka connect任务也会因错误而失败 Kafka的数据： 错误消息： http://localhost:8083/connectors/connect-cluster-15may-308pm/tasks/0/status

我尝试了kafka-console-consumer.sh和kafka-console-producer.sh,它工作得很好。我能够看到生产者在消费者中发送的消息 1）我已经下载了s3连接器(https://docs.confluent.io/current/connect/kafka-connect-S3/index.html) 2）将文件解压缩到/home/ec2-user/plugins/

我参考了以下链接来了解Kafka的HDFS连接https://docs.confluent.io/2.0.0/Connect/connect-hdfs/docs/index.html 我能够通过配置单元集成将数据从Kafka导出到HDFS。 现在我正尝试在Java程序的帮助下将avro记录写入Kafka 当我把Avro记录写到Kafka主题时，我在Connect中出现以下错误

我在CentOS7(confluent)上安装了Apache Kafka，正试图以分布式模式运行filestream Kafka connect，但收到以下错误： 现在可以通过更新workers.properties（如http://docs.confluent.io/current/connect/userguide.html#connect-userguide-distributed-conf

我们开始Kafka，动物园管理员和Kafka连接在第一个盒子。我们也在第二个盒子里开始了Kafka连接。现在，根据confluent文档，我们必须使用REST API启动HDFS连接器（或任何其他连接器）。所以，在这两个框中启动kafka connect之后，我们尝试通过REST API启动connector。我们尝试了以下命令：- 当我们在这里按enter键时，我们得到以下响应： 位于etc/k

我有一个生产者，它正在为一个主题生成protobuf消息。我有一个消费者应用程序，它反序列化protobuf消息。但hdfs接收器连接器直接从Kafka主题接收消息。中的键和值转换器将设置为什么？做这件事最好的方法是什么？提前道谢！

我正在尝试使用spark Streaming从Kafka中消耗一些数据。 我创造了2个工作岗位, 一个简单的Kafka作业，它使用:

运行环境：本地PC-同样的问题。Dataproc集群-spark-submit--包 org.apache.spark:spark-sql-kafka-0-102.12:2.4.5--类org.differentPartitionSparkStreaming--主纱--部署模式集群--num-executors 2--驱动程序--内存4G--executor-cores 4--executor-m

我是Kafka流媒体的新手。我使用python设置了一个twitter监听器，它运行在localhost:9092kafka服务器中。我可以使用kafka客户端工具（conduktor）并使用命令“bin/kafka-console-consumer.sh--bootstrap-server localhost:9092-topic twitter--from-begind”来使用侦听器生成的流，

我正在使用Spark结构化流媒体阅读Kafka主题。 我错过什么了吗？

我正在使用spark structured streaming(2.2.1)来消费来自Kafka(0.10)的主题。 我的检查点位置设置在外部HDFS目录上。在某些情况下，我希望重新启动流式应用程序，从一开始就消费数据。然而，即使我从HDFS目录中删除所有检查点数据并重新提交jar，Spark仍然能够找到我上次使用的偏移量并从那里恢复。偏移量还在哪里？我怀疑与Kafka消费者ID有关。但是，我无法