《kafka》专题

我一直在使用apache kafka-clients（确切地说是2.3.1版本）库来创建kafka使用者，其中一个分区一个使用者线程是通过以下计算实现的： 计算上的使用者线程数*计算数=主题的分区数 它过去是手动伸缩的，因此当需要增加计算的数量时，在一台计算机上运行的使用者线程不会相应减少。 我们如何使用实现这一点。 我正在尝试使用spring kafka 2.5.8版本。该应用程序运行在具有自动

我正在探索反应性Kafka，只是想确认反应性Kafka是否等同于同步制作人。与同步生产者，我们得到消息传递保证与确认字符和生产者序列保持。但是，ASYNC不能保证交付和测序。反应式生产者等同于SYNC还是ASYNC？

我运行Kafka使用： 根据https://ngeor.wordpress.com/2017/03/25/kafka-with-docker-a-docker-introduction/-p标志用于发布网络端口。在容器内，ZooKeeper在2181监听，Kafka在9092监听。如果我们不使用-p发布它们，那么它们在容器外部是不可用的，因此我们无法真正使用它们。-–env标志用于设置环境变量。根

我正在通过在EC2服务器上传输1k大小的消息，对Kafka 0.8.1.1进行基准测试。 我在两个m3上安装了zookeeper。xlarge服务器和具有以下配置： 第二，我在i2.2x大型机器上安装了一台Kafka服务器，该机器具有32Gb RAM和额外的6个SSD驱动器，其中每个磁盘都分区为mnt/a、mnt/b等 。在服务器上，我有一个代理，端口9092上有一个主题，有8个复制因子为1的分区

我在运行时通过运行下面的java代码得到一个错误， 日志记录是否需要包含任何依赖项，例如log4js或其他东西？ 为什么编译时不出现这个错误，这样更容易... 这是我的Java代码， 依赖项使用， 获取以下错误，

我想将xml文件转换为avro。数据将采用xml格式，并将首先触及Kafka主题。然后，我可以使用flume或spark streaming来摄取xml并将其转换为avro，然后将文件放在hdfs中。我有一个cloudera环境。 当avro文件到达hdfs时，我希望能够稍后将它们读入hive表。 我想知道做这件事最好的方法是什么？我尝试过自动模式转换，比如spark avro（这没有spark流

我是Kafka和spark的初学者。我想通过spark streaming对我从Kafka收到的特定主题的数据进行实时处理。我无法使用createStream函数返回的JavaPairReceiverInputStream。 下面的代码给出了一个错误： 方法图（Function， R 我使用的spark版本是1.2.0。我找不到处理Kafka消息的java api示例。有人能告诉我我需要改变什么吗

我正在微服务工作，微服务正在相互交流。我使用Zipkin和Sleuth以及Apache Kafka作为消息代理，并使用docker-compose运行微服务和Kafka。 我使用的是Spring Boot(2.2.6.release)、Spring Cloud(Hoxton.sr3)、Kafka Image(Wurstmeister/Kafka:2.12-2.4.1)和Zipkin的最新Image

我正在尝试将StreamsUncaughtExceptionHandler添加到我的Kafka流处理器。该处理器使用Kafka函数编写。我查看了Artem Bilan提供的将StreamsUncaughtExceptionHandler包括到我的服务中的建议，但我的异常从未被它捕获/处理。 配置Bean： 自定义异常处理程序： 流处理功能： 我希望UnCaughtExceptionHandler处

在Spring云网站(https://spring.io/projects/spring-cloud-stream)，列出了要使用的活页夹选项。我们有阿帕奇Kafka和Kafka流选项。 他们之间有什么区别

Spring云流是否支持下面的Kafka流应用程序。下面是Kafka示例应用程序摘录中的代码。感谢您的任何反馈或支持。

我正在研究Apache Kafka。我想知道哪一个更好：Kafka或ActiveMQ。这两种技术的主要区别是什么？我想在Spring MVC中实现Kafka。

我编写了一个基本的Spring Boot服务，它通过rest API使用一些数据，并将其发布到rabbitmq和kafka。 为了测试处理kafka生成的服务类，我遵循以下指南：https://www.baeldung.com/spring-boot-kafka-testing 孤立地说，测试（KafkaMessagingServiceIMTest）在intellij想法和命令行上的mvn中都可以

当工作从Spring Boot 2.1更新我的应用程序时。X到2.3。X和Spring Cloud Streams（kafka流版本）从2.1.2到3.0.8（Fishtown到Hoxton）我遇到了以下情况： 虽然正在删除组件扫描（…） 我在核心应用程序上消除了上述问题，这导致了“缺少bean！”问题，因为我不再包括来自公共包的bean。 导致此错误的原因是什么？我该如何修复它？

我开发了基于Spring Cloud Stream 3.0.3的kafka消费者应用程序。发布。（SpringBoot 2.3.4。发布） 当我停止此应用程序时，我希望消费者优雅地关闭。类似的问题 停止轮询新消息 完成他们的工作并将偏移提交给Kafka 优雅地关闭应用程序 Spring-Cloud-Stream是否默认此工作？那么是否有相关文件？ 供您参考，我使用的春云流Kafka如下。