用于运行一组具有不同配置的容器的体系结构，以便与 kafka 进行交互

Question

我正在寻找一些关于如何构建基于kubernetes的应用程序的建议。我有一些数据生产者，他们从文件中读取数据，并根据数据的逻辑分离将其放入具有数百个分区的kafka主题中。然后我有一些消费者正在从这些kafka分区读取数据。一个生产者可能会写入多个分区，但一个消费者只会从一个分区读取。一旦文件被处理，生产者应该完成，但消费者应该永远在其分区上监听新数据。我已经为生产者和消费者创建了单独的pod，但是我想知道现在如何最好地组织我的部署，以便我可以整体部署这些pod。生产者摄取的文件和分配给消费者的分区当前作为参数提供。

因此，我希望能够做的是提供一个文件列表，kubernetes将创建（如果它们崩溃，则重新创建）足够的生产者来处理这些文件。我还希望能够指定一组分区，并让 kubernetes 为每个分区创建一个 pod。我看到很多文档用例，其中服务中的 pod 都是相同且可互换的，但关于每个 pod 具有不同配置和可能的角色的服务的讨论并不多。提前致谢。

Answer 1

在我看来，问题中提到的设计不适合Kubernetes架构。根据你的问题，最终你会有数百个不同的豆荚，很难管理，也无法缩小。

我认为，它应该与AWS lambda或其他无服务器方法一起工作得更好。解决方案设计可能会有问题，但结果会花费您更少的钱，并且更容易预测和管理。

作为替代方法，您可以使用作业或 CronJobs 定期使用来自 Kafka 服务的数据。