如何配置kubernetes以从驻留在同一集群中/自身内部的注册表中提取容器映像

Question

我试图让我的kubernetes集群从内部运行的容器注册服务中拉出。我有库贝dns设置，我有一个注册表部署和服务运行。我可以通过节点上的主机命令解析服务内部名称。我已经用kube dns服务的地址向docker守护进程添加了--dns标志。我在运行kubelet时也将--cluster-dns标志设置为相同的地址。然而，当我尝试使用这个注册表创建一个pod时，不知何故，这就是我得到的结果。

无法拉出映像“kube-registry.kube-system.svc.cluster.local/myuser/myimage”：rpc错误：code=未知desc=后台程序的错误响应：Get https://kube-registry.kube-system.svc.cluster.local/v1/_ping:dial tcp：lookup kube-registry.kube-system.svc.cluster.local：没有这样的主机

不知何故，即使将kube dns地址显式地提供给dockerd和kubelet，从注册表服务提取映像也会因为名称解析而失败。我错过了什么？

Answer 1

问题：“我正在尝试让我的kube-cluster从运行在自己内部的注册表中拉出。”（注意：我打算编辑你问题的标题，稍微澄清一下/使搜索更容易）

简短的回答：你不能*
*细致入微的回答：从技术上来说，通过黑客和对Kubernetes基本原理的扎实理解，这是可能的。您可能希望避免这样做，除非您有一个非常好的理由，并且完全理解我对基本问题和解决方案的解释，因为这是一个高级用例，需要调试才能使其工作。这是复杂和微妙的，足以使一步一步的指导变得困难，但我可以给你一个坚实的想法，你遇到的基本问题，使这一挑战，并对如何完成你试图做的事情提供高层次的概述指导。

为什么不能/您遇到的基本问题:
在Kubernetes land中，通常存在3个网络:Internet、LAN和内部集群网络。
（更深入的参考资料:https://oteemo.com/kubernetes-networking-and-services-101/)
这3个网络都有自己的DNS/有3个DNS层。

• internet DNS:8.8.8.8、1.1.1.1、9.9.9.9(google、cloudflare、quad9或路由器配置为指向的任何公共internet DNS。）
• LAN DNS:192.168.1.1（路由器上承载的LAN DNS)
• 核心:10.43.0.10（内部群集网络CIDR范围的第10个IP）

以下是你遇到的问题：

• 吊舱可以解析驻留在以下3个DNS级别中任一级别的DNS项。
• 承载Kubernetes群集的操作系统只能解析LAN DNS或Internet DNS上承载的DNS条目。（操作系统的范围不是要对CoredNs/内部集群网络的存在具有可见性。）
• kubelet+docker/containerd/cri-o/other runtime负责从注册表中提取映像，这些映像以systemd服务的形式存在于OS级别，因此不具有内部集群DNS名称的作用域。这就是为什么您试图做的事情失败了。

备选案文2.）更合理和trow的工作：

>

什么是trow：https://thenewstack.io/trow-a-container-registry-to-run-inside-a-kubernetes-cluster/

证明他们使用/etc/hosts方法https://github.com/containersolutions/trow/blob/main/quick-install.md

为什么是NodePort而不是LB？在这种情况下，NP比LB更好有3个原因：

>

1.)服务类型LB的实现在部署环境和Kubernetes发行版之间有所不同，而类型NodePort则是通用的。

2.）如果LB发生了变化，您必须更新每个节点的/etc/host文件，使其指向“lb_ip registry.some-dns-name.tld”，并且您必须知道LB IP，这并不总是事先知道的/这意味着您必须遵循某种操作顺序。如果使用服务类型NodePort，您可以将localhost IP条目添加到每个节点的/etc/host中，因此它看起来像“127.0.0.1 registry.some-dns-name.tld”，这是众所周知的可重用性，并简化了操作顺序。

3.）如果您需要更改群集的宿主位置，您可以进行安排，以便即使在无法访问或控制LAN DNS的情况下也可以在1个集中位置进行更改。您可以创建指向静态定义的IP或外部名称（可能存在于群集之外）的服务。并使NodePort服务指向静态定义的服务。

将“127.0.0.1 registry.some-dns-name.tld”添加到集群中每个节点的/etc/hosts中。

将yaml清单设置为从registry.some-dns-name.tls中提取，或者配置containerd/cri-o的注册表镜像功能，将registry.some-dns-name.tld:32443映射到本地注册表中镜像的任何条目。

还有两个可解决的鸡和蛋的问题要处理。第一个问题是Kubernetes和registry可能都需要访问容器图像才能做到这一点。

• 如果您可以访问internet并且内部注册表只是用于缓存，这可能没什么大不了的。
• 如果您没有互联网接入，您需要。将kube dustro和注册表所需的图像焦油化，并将它们“预加载”到spot Docker/containerd/cri-o expected中。
• 如果您没有internet访问权限，您也可以为用于初始引导的非HA临时docker compose注册表或驻留在群集之外的注册表设置另一个/etc/hosts条目或LAN DNS条目。

• 如果internet访问应该容易理解和编写脚本
• 如果没有internet访问，您可能需要想出某种DR解决方案来备份和恢复注册表后端持久存储。
• 如果没有internet访问，您也可以使用“强调传输注册表”作为种子目的。基本上，使用这个docker compose来旋转带有文件系统支持的非HA注册表：2映像，使用skopeo来种子该映像，将文件系统支持添加到焦油中，并将其导入到另一台计算机中，还原文件系统支持，从预先填充的文件系统支持中重新加载非HA注册表：2，然后使用skopeo从您的“临时传输注册表”复制到集群中托管的注册表。