当前位置: 首页 > 知识库问答 >
问题:

通过--ServiceAccount在气流kubernetes吊舱操作员

逄学潞
2023-03-14

我试图创建和运行一个豆荚使用气流kubernetes豆荚操作员。下面的命令被尝试并确认有效,我正试图在本地使用kubernetes pod操作符复制相同的命令

kubectl run sparkairflow -n test-namespace --image=some-docker-repo.com:hello-world --serviceaccount=airflow --restart=Never -- spark-submit --deploy-mode cluster --master k8s://kubernetes.default.cluster.local:123 \
                 --name sparkairflow \
                 --conf spark.kubernetes.namespace=test-namespace \
                 --conf spark.kubernetes.container.image=some-docker-repo.com:hello-world \
                 --conf spark.kubernetes.authenticate.driver.serviceAccountName=airflow \
...

有没有办法将serviceaccount标志传递给airflow kubernetes操作员?

谢了!

共有1个答案

李文轩
2023-03-14

事实证明,airflow代码中的pod对象确实有service_account_name字段,只是它不是由KubernetesPodOperator设置的。我必须扩展KubernetesPodOperator,并通过复制所有execute方法来重写它。添加了一行,我在其中设置了pod对象的service_account_name。

不是最干净的解决方案,但它奏效了!

 类似资料:
  • 我对Kubernetes是新来的。 我发现了2个pod优先级选项-优先级类别和服务质量。它们之间有什么不同? (https://kubernetes.io/docs/concepts/configuration/pod-priority-preemption/https://kubernetes.io/docs/tasks/configure-pod-container/quality-servi

  • 我的要求是在自定义指标上扩展POD,如队列中的挂起消息,PODS必须增加以处理作业。在kubernetes,Scale up在普罗米修斯适配器和普罗米修斯操作员中工作得很好。 我在pods中有长时间运行的进程,但HPA检查自定义度量并试图缩小规模,因为这个进程杀死了操作的中间并丢失了消息。我如何控制HPA只杀死没有进程运行的自由豆荚。 序列查询:‘{namespace=“default”,serv

  • 我正在评估我当前的气流部署从Celery executor到Kubernetes(K8s)executor的迁移,以利用Pods提供的资源动态分配和任务隔离。 我很清楚,我们可以使用本机的KubernetesPodOperator通过K8s Executor在K8s集群上运行任务。但是,我找不到关于K8s executor与其他操作符(如bash和Athena)之间兼容性的信息。 这里的问题是,是

  • 我们正在使用Docker 1.19运行库伯内特斯(1.18) Container是一个基于Java13的Spring启动应用程序(使用基本图像作为openjdk: 13-alpin),下面是内存设置。 豆荚: 内存-最小448M,最大2500M cpu-最小值0.1 容器: Xms:256M,Xmx:512M 当流量发送更长时间时,容器会突然重新启动;在Prometheus中,我可以看到Pod内存

  • 我有一个后端nodeJS应用程序运行在kubernetes集群。现在我想运行两个cron作业计划每个月。cron作业在一个JS文件中。如何使用库伯内特斯创建一个作业,在每个月运行该服务的pod中运行这些JS文件? 此链接提供了对其工作原理的基本理解,但我对如何为特定服务和特定Pod运行它有点困惑 https://kubernetes.io/docs/concepts/workloads/contr

  • 我已经在一组运行Centos7的VM上安装了Kubernetes V1.13.10。当我部署吊舱时,它们可以相互连接,但不能连接到集群之外的任何东西。CoreDNS吊舱在日志中有以下错误: IPs 10.20.10.51和10.20.10.52是内部DNS服务器,可以从节点访问。我从DNS服务器捕获了Wireshark数据,我看到流量来自CoreDNS pod IP地址172.21.0.33。DN