在同一后端服务下使用多个端口和不同协议进行GKE RPC健康检查

Question

我正在尝试启动一个接受4个不同端口连接的第三方服务：

x-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: x-deployment
  labels:
    app: x
...
ports:
  - containerPort: 8000 # HttpGraphQLServer
  - containerPort: 8001 # WebSocketServer
  - containerPort: 8020 # JsonRpcServer
  - containerPort: 8030 # HttpIndexingServer
livenessProbe:
  tcpSocket:
    port: 8020

x服务。亚马尔

apiVersion: cloud.google.com/v1
kind: BackendConfig
metadata:
  name: x-rpc-config
spec:
  healthCheck:
    checkIntervalSec: 7
    timeoutSec: 3
    healthyThreshold: 2
    unhealthyThreshold: 2
    type: HTTP2
    port: 8020
---
apiVersion: v1
kind: Service
metadata:
  name: x-service
  annotations:
    beta.cloud.google.com/backend-config: '{"default": "x-rpc-config"}'
spec:
  selector:
    app: x
  ports:
    - name: graphql
      port: 8000
      targetPort: 8000
    - name: subscription
      port: 8001
      targetPort: 8001
    - name: indexing
      port: 8030
      targetPort: 8030
    - name: jrpc
      port: 8020
      targetPort: 8020
  type: NodePort

进入。亚马尔

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: backend-ingress
  annotations:
    kubernetes.io/ingress.global-static-ip-name: backend-dev-ip-address
    networking.gke.io/managed-certificates: backend-certificate
spec:
  rules:
    - host: x.dev.domain.io
      http:
        paths:
          - path: /rpc
            backend:
              serviceName: x-service
              servicePort: 8020
          - path: /idx
            backend:
              serviceName: x-service
              servicePort: 8030
          - path: /ws
            backend:
              serviceName: x-service
              servicePort: 8001
          - path: /*
            backend:
              serviceName: x-service
              servicePort: 8000

默认情况下，GKE LoadBalancer在HTTP:80上运行运行状况检查，如果我启动后端服务（x-service.yaml）而没有后端配置（x-rpc-config），它只能检测到2个健康的后端服务，这两个服务都有HTTP端口：8000和8030）。但是，后端服务侦听端口：8020（RPC）和8030（WS）被认为不正常。我相信这是因为协议类型，所以我创建了BackendConfig（x-rpc-config）来运行TPC运行状况检查，使用端口8020的HTTP2协议，这就是livenessProbe所指向的位置。

Pod和服务已正确创建，但负载均衡器仍然无法将它们检测为健康服务。控制台只是显示以下警告：

某些后端服务处于不健康状态

目标是打开端口8020（RPC），同时保持8000（HTTP）正常工作。有可能吗？我是否需要另一种类型的负载平衡器，或者这只是一个配置问题？

在同一服务下，我找不到任何具有不同协议的多个端口的HealthCheck配置示例。这可能是一种反模式？

提前感谢。




Answer 1

解决方案

我没有使用默认情况下会在GCP上启动HTTP/HTTPs负载平衡器的入口，而是将服务更改为具有自定义的HTTP2健康检查配置的负载平衡器。默认情况下，此配置将在GCP上启动TCP负载平衡器。例如：

apiVersion: cloud.google.com/v1
kind: BackendConfig
metadata:
  name: rpc-config
spec:
  healthCheck:
    checkIntervalSec: 10
    timeoutSec: 3
    healthyThreshold: 2
    unhealthyThreshold: 2
    type: HTTP2
    port: 8020
---
apiVersion: v1
kind: Service
metadata:
  name: x-service
  annotations:
    cloud.google.com/app-protocols: '{"rpc-a":"HTTP2", "rpc-b":"HTTP2", "rpc-c":"HTTP2"}'
    beta.cloud.google.com/backend-config: '{"default": "rpc-config"}'
spec:
  selector:
    app: x-node
  ports:
    - name: rpc-a
      port: 5001
      protocol: TCP
      targetPort: 5001
    - name: rpc-b
      port: 8020
      protocol: TCP
      targetPort: 8020
    - name: rpc-c
      port: 8000
      protocol: TCP
      targetPort: 8000
  type: LoadBalancer

下一步是为TCP LB启用SSL。我看到GCP有SSL代理LB，这可能会解决它。只需要找出正确的配置，我在他们的文档中找不到它。