在kubernetes上使用Kafka connect时，pods的缩小并不优雅

Question

我在两台ec2机器上运行我的kafka-connect。因此，不管任务数量有多少，这两台机器都会一直运行任务。因此是二手机器。最近我在kubernetes上迁移了kafka-connect。我实现了良好的CPU/内存效率。

但当kubernetes规模缩小时，问题就出现了。豆荚的缩小并不优雅。

假设有两个pods p1和p2。p1正在运行3个任务t1、t2、t3，p2正在运行2个任务t4、t5(这里任务t5是用于将数据从postgres带到kafka的源连接器的任务)

当任何pod在缩小期间消失时，其上运行的任务将在其他pod上重新平衡。假设pod p2消失。

任务重新平衡后集群的新状态是：-P1正在运行5个任务t1、t2、t3、t4_new、t5_new

但是我的source connector的日志显示，一些其他任务(可能是在旧的pod t5上运行的任务)仍在运行并访问postgres db数据。

我如何确保每当pod缩减规模时，它都优雅地发生，也就是说pod上运行的所有任务都停止了。

Answer 1

只需在 Kafka-Connect 配置中增加关机超时“task.shutdown.graceful.timeout.ms”。还要使用 preStop 钩子 pods 钩子并在钩子中使用一些睡眠命令，以便 kubelet 等待钩子完成并运行 SIGTERM。

Answer 2

可能是默认的宽限期不足以让应用程序在收到SIGTERM信号后完成其任务。

SIGTERM信号被发送到容器中的主进程，一旦收到信号，容器应该开始正常关闭正在运行的应用程序并退出。

kubernetes官方留档中描述了一个关于终止Pods的非常好的解释/流程。

您可以尝试在部署中扩展终止 GracePeriodSeconds，看看是否有帮助（默认值为 30）：

spec:
    replicas: 
    template:
        spec:
            containers:
              - name: test
                image: ...
            terminationGracePeriodSeconds: 60

另一种方法是使用preStop钩子preStop钩子在容器终止之前立即执行。它的工作原理是，当需要终止容器时，Kubelet将运行预停止挂钩，然后才向进程发送＜code＞SIGTERM＜/code＞。这可用于启动容器的正常关闭。

它还可以用于在关闭之前执行一些其他操作，而无需在应用程序本身中执行这些操作。

这是一个简单的例子，它是如何工作的（这是一个HTTP GET请求，将被发送到'超文本传输协议：///关闭）：

lifecycle:
   preStop:
      httpGet:
         port: 80
         path: shutdown

这里还有一个关于容器钩子的kubernetes留档链接。如果这很重要，请告诉我。