从k8s和舵机漂移中恢复

Question

我们使用helm来管理我们在一个k8s集群中的所有资源。最近我们遇到了一个事件，一些k8s资源在helm之外被修改了（关于根本原因的详细信息见下文）。

然而，最终的结果是，我们的集群中有一些k8s资源与版本的helm图表中指定的不匹配。

示例：

helm get myservice-release

---
# Source: myservice/charts/default-deployment/templates/default_deployment.yaml
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: myservice-autoscaler
  labels:     
    app: myservice
spec:
  minReplicas: 2
  maxReplicas: 10
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: myservice-deployment
  metrics:
  - type: Resource
    resource:
      name: cpu
      targetAverageUtilization: 85

kubectl get hpa myservice-autoscaler -o yaml

规格{max,min}replicas与图表不匹配：

apiVersion: autoscaling/v1
kind: HorizontalPodAutoscaler
metadata:
  annotations:
    autoscaling.alpha.kubernetes.io/conditions: '{REDACTED}'
    autoscaling.alpha.kubernetes.io/current-metrics: '{REDACTED}'
  creationTimestamp: "{REDACTED}"
  labels:
    app: myservice
  name: myservice-autoscaler
  namespace: default
  resourceVersion: "174526833"
  selfLink: /apis/autoscaling/v1/namespaces/default/horizontalpodautoscalers/myservice-autoscaler
  uid: {REDACTED}
spec:
  maxReplicas: 1
  minReplicas: 1
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: myservice-deployment
  targetCPUUtilizationPercentage: 85
status:
  currentCPUUtilizationPercentage: 9
  currentReplicas: 1
  desiredReplicas: 1
  lastScaleTime: "{REACTED}"

我怀疑k8s资源中的漂移不止这一次。

• 如何验证哪些资源已漂移？
• 我如何通知helm，以便下一个部署在应用发布差异时将其考虑进去？

Answer 1

我们想出了一种以可伸缩的方式实现这一点的方法。请注意，此解决方案需要Kubernetes 1.13来支持Kubectl diff。

总体思路是获取helm状态，并使用kubectl应用它，以再次同步两者。这在群集上可能不安全，请使用kubectl diff验证更改。

>

从helm获取状态:helm get manifest{service}-release>{service}-release.yaml