External-DNS安装与使用
注：本文基于kubeadm安装的k8s集群编写
1 背景
k8s中的服务通过ingress暴露给外部后，我们就能访问该服务。但是此时我们只能基于ingress暴露的ip来访问，这肯定不是个好主意，此时我们就需要将域名绑定到IP上。一般来说这里都需要手动到DNS服务商配置，对于ip变化频繁的话，还是很繁琐的。这时我们就可以考虑使用external-dns服务。
external-dns将Kubernetes的Service/Ingress暴露的服务（的DNS记录）同步给外部的DNS Provider
2 安装external-dns
为了更方便演示效果，我们直接用coredns做为external-dns的提供商，但是这样解析的效果只能作用于集群内，大家可以根据实际情况与aws集成。
2.1 安装CoreDNS的Etcd插件
因为我们使用的是coredns，因此后端存储就用集群内的etcd实例，需要添加对应插件，其实就是添加响应的配置，
.:53 {
...
etcd example.org {
path /skydns
endpoint https://192.168.0.180:2379
tls /tls/server.crt /tls/server.key /tls/ca.crt
fallthrough .
}
}
修改coredns的configmap，添加etcd section，其中，
example.org：指定应用的域名范围
path：指定数据存放路径
endpoint：指定etcd的地址，这里需要用节点ip，不能用127地址，不然其他节点就无法访问
tls：指定对应的证书，因为我们需要从其他节点访问，因此需要验证，后面还会对这个路径说明
上面用到的证书，其实就是目录/etc/kubernetes/pki/etcd/下的证书，由kubeadm生成，我们可以将他们导入集群，作为secret来引用，
kubectl create secret generic etcd-client-certs --from-file=ca.crt=/etc/kubernetes/pki/etcd/ca.crt --from-file=server.crt=/etc/kubernetes/pki/etcd/server.crt --from-file=server.key=/etc/kubernetes/pki/etcd/server.key -n kube-system
修改对应deployment，添加对应的volume和volumeMounts,
spec:
volumes:
- name: etcd-client-certs
secret:
secretName: etcd-client-certs
defaultMode: 400
...
containers:
- name: coredns
...
volumeMounts:
- name: etcd-client-certs
readOnly: true
mountPath: /tls/
这样，coredns部分就就绪了，下面就可以开始安装external-dns。
2.2 helm安装external-dns
我们直接使用helm来安装，先添加external-dns的repo，这里我们使用bitnami，
helm repo add bitnami https://charts.bitnami.com/bitnami
然后我们需要设置一些配置，
helm install external-dns bitnami/external-dns --namespace=external-dns \
--set sources="{ingress}" --set policy=sync --set logLevel=debug \
--set provider=coredns --set image.tag=0.10.0 \
--set coredns.etcdEndpoints=https://192.168.0.180:2379 \
--set coredns.etcdTLS.enabled=true \
--set coredns.etcdTLS.caFilename=ca.crt \
--set coredns.etcdTLS.certFilename=server.crt \
--set coredns.etcdTLS.keyFilename=server.key
其中，
- namespace：指定namespace为external-dns
- sources：指定导出的来源，这里将ingress导出到dns提供商中，当然也可以将service也一起导出
- provider：指定coredns为dns provider，如果用aws的route53，这里就设置为aws
- image.tag： 指定镜像tag
- coredns.etcdEndpoints：指定etcd的地址，需要用node ip，和上面coredns里的设置类似
- coredns.etcdTLS.caFilename：指定ca证书名称
- coredns.etcdTLS.certFilename：指定客户端证书
- coredns.etcdTLS.keyFilename：指定客户端私钥
另外，因为coredns provider默认使用etcd-client-certs这个secret，因此我们需要将对应的证书导入，和上面coredns里类似，只不过换个namespace，
kubectl create secret generic etcd-client-certs --from-file=ca.crt=/etc/kubernetes/pki/etcd/ca.crt --from-file=server.crt=/etc/kubernetes/pki/etcd/server.crt --from-file=server.key=/etc/kubernetes/pki/etcd/server.key -n external-dns
这样，external-dns也配置完毕，我们可以看下pod状态，
[root@master etcd]# kubectl get pod -n external-dns
NAME READY STATUS RESTARTS AGE
external-dns-76cb6d74c6-c8vq5 1/1 Running 0 23h
3 测试效果
为了测试效果，我们需要新建一个ingress资源，假设集群里已经部署了一个webservice的服务，我们需要将其域名设置为web.example.org，
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: test1-ingress
annotations:
ingress.kubernetes.io/rewrite-target: /
namespace: ingress-nginx
spec:
ingressClassName: nginx
rules:
- host: web.example.org
http:
paths:
- path: /
backend:
service:
name: webservice
port:
number: 10080
pathType: Prefix
创建资源后，确认address已分配，
[root@master ingress]# kubectl get ingress -n ingress-nginx
NAME CLASS HOSTS ADDRESS PORTS AGE
test1-ingress nginx web.example.org 192.168.0.180 80 24h
此时，我们可以在集群中创建一个debug pod来测试这个域名，
[root@master ~]# kubectl run centos -it --image=centos:7 -- /bin/bash
If you don't see a command prompt, try pressing enter.
[root@centos /]# yum install -y bind-utils
[root@centos /]# nslookup web.example.org
Server: 10.96.0.10
Address: 10.96.0.10#53
Name: web.example.org
Address: 192.168.0.180
可见此时域名已经在集群内生效了。
一般我们在生产环境中，会部署两套external-dns，一套对内，一套的对外，这样更方便管理。
参考文档：
- https://artifacthub.io/packages/helm/bitnami/external-dns
- https://kubernetes.io/docs/concepts/configuration/secret/