Kafka"num.partitions"设置在service.properties不生效

Question

我们在Docker容器中使用Kafka。如果在生成或消费消息时主题不存在，我们会自动创建主题。我们想要3个主题分区，所以设置

num.partitions=3

在文件/etc/kafka/server中。Kafka容器中的属性。然而，它并没有生效。完成设置并重新启动容器后，尝试订阅或发布一些不存在的主题，这些主题将被创建，但只使用一个分区。

我们在ImageConfluentInc/cp kafka:5.1.0创建的容器和ImageConfluentInc/cp enterprise kafka:5.3.1创建的容器上尝试了这一点，行为是相同的。

我们测试了使用命令创建主题：

kafka-topics --create --topic my_topic --zookeeper zookeeper:2181 --replication-factor 1 --partitions 3

这正确地创建了具有三个分区的主题。但是我们需要Kafka自动创建多分区主题。

什么会导致这个问题？或者如何让Kafka自动创建多分区主题？

我们没有任何动态配置。这可以通过运行以下命令进行验证：

kafka-configs --bootstrap-server kafka:9092 --entity-type brokers --entity-default --describe
kafka-configs --bootstrap-server kafka:9092 --entity-type brokers --entity-name 0 (or other ids) --describe

这些命令返回空结果。

Answer 1

Docker容器是短暂的，这意味着一旦您停止它们，您应用的所有更改都将丢失。

如果要覆盖默认设置，必须装载属性文件：

1. 在你的机器上创建一个server.properties文件
2. 用你需要的属性填充它（包括原来的）
3. 装载这个文件，为了替换容器中的原始文件：

docker run ... -v /path/to/custom/server.properties:/etc/kafka/server.properties ...