为什么Kubernetes在节点崩溃后不终止PODs？

Question

我正在运行一个自我管理的Kubernetes集群1.18.1。我已经部署了一些带有持久性卷的POD（基于longhorn项目）。现在，在做了一些测试之后，我观察到以下行为：

如果我模拟一个节点的硬关机，过了一段时间（5分钟），Kubernetes就会识别出丢失，并开始重新调度节点从死亡节点到另一个节点。

因为我的节点具有持久性卷，所以新的POD永远不会启动。原因是旧的pod（在死节点上）现在在终止状态下是持久的。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: db
  labels: 
    app: db
spec:
  replicas: 1
  selector: 
    matchLabels:
      app: db
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: db
    spec:
      containers:
      - env:
        - name: POSTGRES_DB
          value: office
        image: postgres:9.6.1
        name: db

        livenessProbe:
          tcpSocket:
            port: 5432
          initialDelaySeconds: 30
          periodSeconds: 10

        ports:
          - containerPort: 5432        
        resources: {}
        volumeMounts:
        - mountPath: /var/lib/postgresql/data
          name: dbdata
          subPath: postgres
      restartPolicy: Always
      volumes:
      - name: dbdata
        persistentVolumeClaim:
          claimName: office-demo-dbdata-pvc


# Storrage
---
kind: PersistentVolume
apiVersion: v1
metadata:
  name: office-demo-dbdata-pv
spec:
  capacity:
    storage: 2Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  claimRef:
    namespace: default
    name: office-demo-dbdata-pvc
  csi:
    driver: io.rancher.longhorn 
    fsType: ext4
    volumeHandle: office-demo-dbdata
  storageClassName: longhorn-durable
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: office-demo-dbdata-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: longhorn-durable
  resources:
    requests:
      storage: 2Gi
  volumeName: "office-demo-dbdata-pv"

如果手动删除“VolumeAttachment”，挂在终止状态的吊舱可以被释放

$ kubectl delete volumeattachment csi-08d9842e.......

但在任何情况下，这都是手动操作。

Answer 1

5分钟是Kubernetes控制平面组件的默认驱逐时间。如果您想自定义，您可以使用基于污染的驱逐，并在部署yaml中添加以下内容

tolerations:
- key: "node.kubernetes.io/unreachable"
  operator: "Exists"
  effect: "NoExecute"
  tolerationSeconds: 60

请注意，Kubernetes会自动添加node.Kubernetes.io/not-ready容忍度容忍度seconds=300，除非用户提供的pod配置已经具有node.Kubernetes.io/not-ready容忍度。同样，它为node.kubernetes.io/unreachable添加了容忍度seconds=300的容忍度，除非用户提供的pod配置已经为node.kubernetes.io/unreachable提供了容忍度