使用 Shell-Operator,让 Pod 继承节点标签

居英资
2023-12-01

前一段时间发了一篇 Shell Operator 的介绍,搓例子的时候,就想起个需求,我想把 Pod 所在节点上的特定标签复制给 Pod,例如机架、虚拟机节点所在的物理机等,都可以用标签的形式来表达,并可以用这些标签进行选择和统计等。

Shell Operator 的基本开发流程是:

  1. 编写配置文件,确定触发条件。

  2. 开发操作脚本,打包容器镜像。

  3. 确定操作权限,设置 RBAC。

  4. 运行和测试。

官方的例子中,入口脚本如果带有参数 --config,就会返回一段 YAML 格式的配置文件,这部分是硬编码到代码之中的,例如:

#!/usr/bin/env bashif [[ $1 == "--config" ]] ; then
  cat <<EOF
configVersion: v1
kubernetes:
- apiVersion: v1
  kind: Pod
  executeHookOnEvent: ["Added"]
EOF
...

在 K8s 中,我们可以用 Configmap 的形式来提供配置文件,提高其适应能力:

if args.config:    with open(CONFIG_FILE) as cfg:
        print("".join(cfg.readlines()))
    sys.exit(0)

配置文件的处理方式:

configVersion: v1
kubernetes:
- apiVersion: v1
  kind: Pod
  executeHookOnEvent: ["Modified"]
  labelSelector:
    matchExpressions:
    - {key: node-dc, operator: DoesNotExist}
    - {key: node-label, operator: Exists}
  jqFilter: .spec.nodeName
  • 以 Pod 的 ‘Modified’ 事件触发 Hook。

  • 使用 jqFilter 关注 .spec.nodeName 字段的变化,仅变化时触发

  • 给对象 Pod 提供两个标签

    • node-dc 用于标注该对象是否已经完成标签复制,完成的不触发。

    • node-label 用于标注该对象是否需要进行标签复制,没有该标签的不进行触发。

用这个配置文件生成 ConfigMap,预备给 Pod 进行加载。

配置文件的位置由环境变量 CONFIG_FILE 决定,缺省值为 /etc/auto-labeler/config.yaml

把源码和 Dockerfile 拷贝在一起生成镜像,这里用 Python 编写的脚本,所以需要加入 Python3 的包:

FROM flant/shell-operator:latest-alpine3.11
RUN apk --no-cache add python3
ADD auto-labeler.py /hooks

/hooks 目录里面的可执行文件都会被视为 Hook 脚本。这个目录的定义可以用环境变量 SHELL_OPERATOR_HOOKS_DIR 进行修改。

这个功能需要读取 Node 信息,并为 Pod 打标签,Pod 中的 Kubectl 会用 ServiceAccount 凭据对集群进行操作。所以需要进行 RBAC 配置。源码中的 rbac.yaml 文件包含了所需的内容。

以上步骤都完成之后,部署工作组件(例如 operator.yaml),就可以进行测试了,

测试

首先给各个节点打入标签,例如:

kubectl label node \
    gke-gcp-vlab-k8s-default-pool-176e8788-n7bl \
    node-dc=datacenter node-rack=10002 node-name=vm009

代码中的 sample-workload.yaml 就是一个给 Pod 打好了 node-label 标签的实例。部署之后可以进行 Scale,查看标签的生效情况。

 类似资料: