Django/Google库伯内特斯间歇性111：拒绝与上游服务的连接

Question

我做了很多搜索，似乎找不到任何能解决这个问题的人。

我的kubernetes群集上有间歇性的111个连接拒绝错误。似乎我的请求中有90%成功，另外10%失败。如果您“刷新”页面，以前失败的请求将会成功。我有两个不同的库伯内特斯群集，它们具有相同的完全设置，都显示了错误。

这看起来和我的经历非常接近。我确实在一个新集群上安装了我的安装程序，但同样的问题依然存在：Kubernetes ClusterIP间歇性502连接被拒绝

安装程序

• 库伯内特斯集群版本：1.18.12-gke.1206
• Django版本：3.1.4
• 掌舵管理kubernetes图表

集群设置

Kubernetes nginx入口控制器，为进入集群的网络流量提供服务：https://kubernetes.github.io/ingress-nginx/deploy/#gce-gke

从那里我有2入口定义的路由流量基于引用URL。

1. 舞台入口
2. 戳入口

进入

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: potr-tms-ingress-{{ .Values.environment }}
  namespace: {{ .Values.environment }}
  labels:
    app: potr-tms-{{ .Values.environment }}
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/from-to-www-redirect: "true"

# this line below doesn't seem to have an effect
#    nginx.ingress.kubernetes.io/service-upstream: "true"
    nginx.ingress.kubernetes.io/proxy-body-size: "100M"
    cert-manager.io/cluster-issuer: "letsencrypt-{{ .Values.environment }}"
spec:
  rules:
    - host: {{ .Values.ingress_host }}
      http:
        paths:
        - path: /
          backend:
            serviceName: potr-tms-service-{{ .Values.environment }}
            servicePort: 8000
  tls:
    - hosts:
      - {{ .Values.ingress_host }}
      - www.{{ .Values.ingress_host }}
      secretName: potr-tms-{{ .Values.environment }}-tls

这些入口路由到我为prod和stage定义的两个服务：

服务

apiVersion: v1
kind: Service
metadata:
  name: potr-tms-service-{{ .Values.environment }}
  namespace: {{ .Values.environment }}
  labels:
    app: potr-tms-{{ .Values.environment }}
spec:
  type: ClusterIP
  ports:
    - name: potr-tms-service-{{ .Values.environment }}
      port: 8000
      protocol: TCP
      targetPort: 8000
  selector:
    app: potr-tms-{{ .Values.environment }}

这两项服务是我为prod和stage提供的部署路线：

部署

apiVersion: apps/v1
kind: Deployment
metadata:
  name: potr-tms-deployment-{{ .Values.environment }}
  namespace: {{ .Values.environment }}
  labels:
    app: potr-tms-{{ .Values.environment }}
spec:
  replicas: {{ .Values.deployment_replicas }}
  selector:
    matchLabels:
      app: potr-tms-{{ .Values.environment }}
  strategy:
    type: RollingUpdate
  template:
    metadata:
      annotations:
        rollme: {{ randAlphaNum 5 | quote }}
      labels:
        app: potr-tms-{{ .Values.environment }}
    spec:
      containers:
      - command: ["gunicorn", "--bind", ":8000", "config.wsgi"]
#      - command: ["python", "manage.py", "runserver", "0.0.0.0:8000"]
        envFrom:
          - secretRef:
              name: potr-tms-secrets-{{ .Values.environment }}
        image: gcr.io/potrtms/potr-tms-{{ .Values.environment }}:latest
        name: potr-tms-{{ .Values.environment }}
        ports:
        - containerPort: 8000
        resources:
          requests:
            cpu: 200m
            memory: 512Mi
      restartPolicy: Always
      serviceAccountName: "potr-tms-service-account-{{ .Values.environment }}"
status: {}

这似乎很清楚，如果我的部署吊舱出现故障或显示错误，它们将“不可用”，服务将无法将它们路由到吊舱。为了尝试并调试它，我增加了部署资源和副本数。不过，该应用的网络流量非常低，大约有10个用户。

我试过的

1. 我试过用完全不同的入口控制器https://github.com/kubernetes/ingress-nginx
2. 增加部署资源/副本计数（似乎没有效果）
3. 在一个全新的集群上安装我的整个设置（相同的结果）
4. 重启入口控制器/删除并重新安装
5. 听起来这可能是一个GUnicorn问题。为了测试我尝试用pythonmanage.pyrunserver启动我的pod，问题仍然存在。

使现代化

提高豆荚数量似乎有点帮助。

• 部署副本：15个
• cpu请求：200米
• 内存请求：512Mi

有些请求仍然失败。

Answer 1

我无法找出这些连接错误发生的原因，但我确实找到了一种解决用户问题的方法。

在入口配置中添加注释

nginx。进入。库伯内特斯。io/proxy下一个上行尝试：“10”

我把它设置为10只是为了确保它重试，因为我很有信心我们的服务是有效的。你可能会逃脱2或3。

这是我的全部入口。亚马尔

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: potr-tms-ingress-{{ .Values.environment }}
  namespace: {{ .Values.environment }}
  labels:
    app: potr-tms-{{ .Values.environment }}
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/from-to-www-redirect: "true"
#    nginx.ingress.kubernetes.io/service-upstream: "true"
    nginx.ingress.kubernetes.io/proxy-body-size: "100M"
    nginx.ingress.kubernetes.io/client-body-buffer-size: "100m"
    nginx.ingress.kubernetes.io/proxy-max-temp-file-size: "1024m"
    nginx.ingress.kubernetes.io/proxy-next-upstream-tries: "10"
    cert-manager.io/cluster-issuer: "letsencrypt-{{ .Values.environment }}"
spec:
  rules:
    - host: {{ .Values.ingress_host }}
      http:
        paths:
        - path: /
          backend:
            serviceName: potr-tms-service-{{ .Values.environment }}
            servicePort: 8000
  tls:
    - hosts:
      - {{ .Values.ingress_host }}
      - www.{{ .Values.ingress_host }}
      secretName: potr-tms-{{ .Values.environment }}-tls

Answer 2

你找到解决办法了吗？我在minikube上看到了非常相似的设置。

在我的例子中，我相信我也看到nginx控制器在502之后重新启动。502是间歇性的，通常第一次访问失败，然后重新加载工作。

到目前为止，我发现最好的办法是增加Nginx timeout参数，但我还没有尝试过。仍在努力寻找所有选项。