本文主要向大家展示如何为阿里云 Terraform Provider 贡献自己的力量,帮助开发者和志同道合的朋友尽快加入到开源生态的建设中来。
本文面向所有的对Terraform熟悉和感兴趣的朋友,如果您还不了解Terraform,快快戳这里。
本文会从环境搭建和开发规范两个方面向大家展示如何开放 terraform provider。
本地安装go >1.10.0 详见:https://golang.org/dl/
本地安装 Terraform > 0.11, 详见: https://www.terraform.io/intro/getting-started/install.html
fork或者直接 Clone repo https://github.com/terraform-providers/terraform-provider-alicloud 到:$GOPATH/src/github.com/terraform-providers/terraform-provider-alicloud
mkdir -p $GOPATH/src/github.com/terraform-providers
cd $GOPATH/src/github.com/terraform-providers
git clone git@github.com:terraform-providers/terraform-provider-alicloud
编译并 build Provider:
cd $GOPATH/src/github.com/terraform-providers/terraform-provider-alicloud
# make build 会同时build出mac,Linux和windows的provider,并将生成的provider存放在当前目录的`bin`目录下
make build
# 如果你只想build单一系统的provider,只需要在执行的时候指定操作系统名称即可
make mac / make linux / make windows
# 如果你想开发或者测试,以下命令会将build好的provider安装到 Terrafrom 所在的安装目录,无需自行安装
Mac: make dev
Linux: make devlinux
Windows: make devwin
设置环境变量,省去每次测试时输入AK的要求
# set the creds
export ALICLOUD_ACCESS_KEY="***"
export ALICLOUD_SECRET_KEY="***"
Resource 开发是根据阿里云的OpenAPI在terraform provider中实现对阿里云产品和资源的插件。在terraform中,一个阿里云的云资源,如一台ECS instance,一块磁盘,一个VPC,一个SLB实例等,都可以对应一个resource,除此之外,资源与资源之间的关联关系,如磁盘的挂载,EIP的绑定,ECS 实例添加到SLB中等,也可以定义为一个单独的资源,这样带来的好处是,这些关联关系可以在编排模板中被大量的复用,模板结构清晰的同时,降低用户编写模板的复杂度。
每个Resource的实现不仅仅是根据阿里云帮助文档对OpenAPI的简单调用,还要对产品的设计,功能以及使用有较深的理解,通常遵循如下设计原则:
自管理
每个resource只管理自身的功能,与其他resource引用或者关联交由关系性资源来完成,如ECS instance只管理实例自身的功能,对于挂哪个数据盘,分配哪个EIP交由attachment资源来完成
松耦合
对于资源与资源之间的关联关系,需要单独定义一个逻辑resource,来完成资源与资源之间的关联,如磁盘挂载,eip的挂载,ess与ecs的关联等。
参数简洁
参数要尽可能简洁,不要有冗余的参数,以RDS instance为例,对于参数zoneId,VpcId以及VSwitchId而言,只需要定义zoneId和VpcId就是冗余参数,因为在调用具体API之前,可以通过vswitchId来获取这两个参数,但某些特殊的场景除外,比如RDS支持Multiple zone,所以zonId也需要保留。
如果可以设置Default,最后显示设置。
语义清晰
每个参数字段要具有清晰的语义,帮助用户更好的理解。对于一些公共的,统一的参数,如可用区,slb ID,最好跟其他资源保持一致:`availability_zone`, `load_balancer_id`。 再如,在好多资源中都有包年包月和按量付费之分,计费类型可统一定义为“instance_charge_type”。对于一些语义清楚的参数,如资源名称VpcName,VSwitchName,LoadBalancerName等,在具体的资源中只需用同一字段"name"来定义就好了。
参数校验
有些参数需要做一些简单的校验,提前提醒客户使用正确的可选值。除此之外,对于某些参数,要做diff判断,以自动屏蔽某些不起作用的参数,如:对于ECS而言,选择`PostPaid`,意味着所有与`PrePaid`相关的参数 `period`,`period_unit`,`renewal_status`,`auto_renew_period` 都将失效,具体表现为在执行`terraform plan`的时候,这些参数不会做diff比较。
每个Resource需要实现Create,Read,Update,Delete,Import五个功能:
Create
Update
d.Partial(true)
,并在每步修改后进行时时更新,如d.SetPartial("bandwidth")
,以保证后面的每一步成功的更改都能被及时的写入到state 文件中。Read
Delete
Import
对用户而言,模板中定义资源是Input,控制台看到的通过terraform生产的资源是Output,但对terraform而言,模板是Iuput,资源创建完成后,运行命令的当前目录下的state文件是Output。不管是对用户还是Terraform,当Input和Output不一致时,就意味着模板中定义的资源来发生变更,这个变更可以是资源属性的简单修改,也可以是某个资源的删除,也可以是某些资源的删除再重建。
对于Terraform而言,资源的管理是通过不同的命令来进行的。主要的命令包含以下几个:
terraform plan
实现对资源的预览。该命令会对模板和state文件做一个diff,当发现不一致时,会将diff的结果显示出来,供用户预览。如果资源尚未创建,及当前目录下的state文件为空,该命令直接展示即将创建的所有资源,否则展示要变更的资源。
terrform apply
实现对资源的创建和更新。对于新资源,调用`Create`,完成对资源的创建后,调用 `Update` 完成对某些属性的变更或者直接调用 `Read` 将资源属性写入到State文件中;对于已有资源,如果terraform plan的结果为空,即没有任何修改,则该命令不会产生任何效果,否则调用`Update`完成对资源的修改,之后再次调用 `Read` 将变更信息同步到State中。
terraform destroy
调用`Destroy`完成对资源的销毁。
terraform import
调用`Read`方法完成对已有资源(所谓已有资源就是通过非Terraform创建和管理的资源)的导入,将已有资源加入到terraform的管理序列中来。但要注意,由于已有资源不一定是通过terraform创建的,所有导入成功后,记得运行`terraform plan`进行对比,手动补齐模板,保证模板定义的资源与State保存的一致。
在对所要开发的资源和Terraform原理有了熟悉和了解之后,接下来就是具体的开发工作。
开始开发时,首先要定义一个资源名称,这个资源名称代表了所要开发的resource在provider中的定义。命名规则遵循:alicloud_<产品简称>_<云资源名>
。其中,产品简称一般跟产品所定义的,或者跟控制台域名前缀保持一致,如slb,ess,ram等;云资源名称一般更API中定义的一致,如instance,security_group等;若当前资源是一个关系资源,通常在云资源名后面,增加一个后缀_attachment
。
资源名称定义好之后,该资源对应的文件名即为resource_alicloud_<产品简称>_<云资源名>
。
Schema的function name 遵循resourceAlicloud<产品简称><云资源名>
。Schema的定义包含方法的定义和资源参数的定义。
方法的定义包含对Create,Read,Update,Delete以及Import的声明,以便在下午中进行具体的实现。
参数的定义是对当前资源所要包含的所有参数的声明和定义。参数分为入参和出参,每个入参也会被自动申明为出参。每个参数必须声明参数类型Type
,每个出参通过申明Computed: true
来标识,每个入参通过Required: true
或者Optional: true
来标识。除此之外,入参还可申明参数的可选值,是否为ForceNew,是否有Default值等,具体的详见terraform/helper/schema中支持的资源属性。
在定义完 Schema 后,要在“provider.go”的ResourcesMap中增加一条kv条目:<resource name>: <resource schema name>
,即alicloud_<产品简称>_<云资源名>: resourceAlicloud<产品简称><云资源名>
,该条目表明当前添加的resource是Alicloud Provider中的一个resource,如果没有添加,当运行terraform命令时,provider将无法解析模板中定义的资源。
声明 Sdk Client
在调用SDK之前,需要在config.go
文件中声明所要调用的SDK Client,为API的调用提供统一的入口。每个产品线共用同一个Client。每个Client声明需包含以下几个部分:
Client声明过程中需要下载对应的Go SDK。本项目是通过 Go Vendor来实现对所依赖的GO SDK的管理的。可使用govendor fetch <sdk github>
来加载指定的SDK的文件或者目录,如命令govendor fetch github.com/aliyun/alibaba-cloud-sdk-go/services/ecs
会将最新的ecs的GO SDK更新到目录"vendor"下的对应目录中。
"Create" 方法
完成 Sdk Client的声明后,接下来功能开发。首先是创建资源。资源的创建就是调用云资源的Create方法来实现对云资源的生产,在这过程中要注意一下几点:
d.SetId(<resource Id>)
写入到State文件中,这样可以保证即使后面的所有操作都失败了,对terraform而言这个资源已经存在了,后面可根据这个ID来继续操作和管理资源,因此资源创建的过程逻辑要尽可能的简单,将一些复杂的附属的操作留在ID设置完成后或者Update方法中去做,如分配公网IP,设置Tag等"Update" 方法
Update操作是利用生成的资源ID来实现对指定资源的属性修改的过程。在这一过程中,需要注意一下几点:
d.Partial(true)
打开Partial,这么做的目的是为了将每一步的修改实时的更新到state文件中d.SetPartial()
来将该字段的修改同步到state文件中d.Partial(false)
将Partial关闭。Read操作是利用生成的资源ID来查询资源的属性,并将这部分属性值通过d.Set(<参数名>, <参数值>)
写入到state文件中。当通过资源ID无法查到对应资源时,要将资源ID设置为空,表明该资源已不存在。
"Delete" 方法
Delete操作是利用生成的资源ID调用Delete API来删除指定的云资源。在这一过程中,需要注意一下几点:
Import方法通常不需要开发,默认调用Read方法完成资源属性的查询和导入。
在完成功能的开发后,接下来就是要编译provider并测试开发的功能。运行命令make dev
或者make devlinux
或者make devwin
build对应操作系统的Provider,之后编写资源模板文件,运行terraform命令,完成资源的创建,更新,删除,并不断完善功能。
Data Source 开发是调用阿里云资源的查询API完成对特定资源的查询和展示。
每个Data Source的实现要根据API的字段和资源属性,为用户提供更好的查询体验,最好可以支持模糊查询。参数设计原则除了与Resource设计原则类似外,还应该提供一个参数output_file
来将查询到的结果输出到文件中,供用户参考。
每个Data Source只有一个Read方法需要实现,该方法用来查询并过滤符合条件的所有的resource,然后将过滤的结果以列表的方式展示出来。在具体实现过程如下:
资源命名
和resource一样,data source的名称代表了所要开发的data source在provider中的定义。命名规则遵循:`alicloud_<产品简称>_<云资源名>`。其中,产品简称更resource一样,云资源名称都是复数形式,因为data source的输出都是列表。
资源名称定义好之后,该资源对应的文件名即为`data_source_alicloud_<产品简称>_<云资源名>`。
定义Schema
Schema的function name 遵循`dataSourceAlicloud<产品简称><云资源名>`。Schema的定义包含方法的定义和资源参数的定义。
方法的定义只包含Read。
参数的定义是对资源查询接口中所支持的参数的申明和定义。每个data source都必须包含一个统一的入参"output_file",用来存储所查询到的所有资源;出参类型都是list,list中的每个item包含了所查询资源的属性值。
注册Data Source
在定义完 Schema 后,要在“provider.go”的DataSourcesMap中增加一条kv条目:`<data source name>: <data source schema name>`,即`alicloud_<产品简称>_<云资源名>: dataSourceAlicloud<产品简称><云资源名>`,该条目表明当前添加的data source是Alicloud Provider中的一个data source,如果没有添加,当运行terraform命令时,provider将无法解析模板中定义的data source。
声明 Sdk Client
如何没有对应产品线的Client,和resource中指出的一样,需要申明一个sdk Client。
"Read" 方法
Read操作是利用定义的入参,查询并输出满足指定条件的所有资源。和resource一样,查询的数据会被存储在state文件中,所以每个data source也需要一个ID来标识。由于输出结果是list,所以通常当前data source的ID是取所有Item的ID的hash值。资源过滤完毕后,要利用set将数据写入state文件中。
编译测试
和Resource一样。
在完成模块开发后,要对每个resource和data source的功能进行接收性测试,测试的方法是编写对应resource和data source的测试用例。
测试用例的编写要遵循以下几个原则:
如何运行测试用例
以ECS instance 举例,运行如下的测试命令,可以实现对目录`alicloud`下所有以`TestAccAlicloudInstance`为前缀的测试用例的运行:
TF_ACC=1 go test ./alicloud -v -run=TestAccAlicloudInstance -timeout=300m
其中,`timeout` 表示这个测试用例运行的超时时长。
如果想要精确到具体的测试用例,补全测试用例的名称即可。
文档是用户使用provider的基础,文档的编写非常重要,需遵循如下几个原则:
Note
website/docs/r
下,data source 文档放在目录website/docs/d
下。每新增一个文档,要修改文件website/alicloud.erb
来完成侧边栏展示为了更好的帮助用户使用新增的resource,在完成以上工作后,需要为当前的这个resource或者当前这类resource增加一个example,来指导用户编写对应的模板。该样例是一个真实的可运行的模板,通常包含以下四部分:
完成了以上功能的实现和代码的编写后,接下来最关键的就是代码的提交。值得注意的是,如果您是阿里巴巴公司内部的同学,在代码提交之前,首先需要检查自己的代码中不包含敏感信息,如access key,secret
key等,接着,走provider新版本发布流程。
在完成新版本发布流程后,代码的具体的步骤分为以下几步:
为了避免出现代码的错乱,降低review的复杂度,Commit要细化,每一功能点或者一次的修改(不论改动有多小)对应一个Commit。为了防止功能和代码的相互冲突,每个功能点对应一个branch。
提交代码前一定要Rebase
,具体操作步骤如下:
Configuring Your Remotes
Rebase之前,首先需要配置你的Remote,假定你origin
指向了你的fork:
$ git remote -v
origin git@github.com:YOUR_GITHUB_USERNAME/terraform-provider-alicloud.git (fetch)
origin git@github.com:YOUR_GITHUB_USERNAME/terraform-provider-alicloud.git (push)
接着,将主仓库配置为你的remote,如起名为“alicloud”
$ git remote add alicloud https://github.com/alibaba/terraform-provider-alicloud.git
$ git remote -v
origin git@github.com:YOUR_GITHUB_USERNAME/terraform-provider-alicloud.git (fetch)
origin git@github.com:YOUR_GITHUB_USERNAME/terraform-provider-alicloud.git (push)
alicloud https://github.com/terraform-providers/terraform-provider-alicloud.git (fetch)
alicloud https://github.com/terraform-providers/terraform-provider-alicloud.git (push)
检查当前仓库的状态
$ git status
On branch YOUR_BRANCH
Your branch is up-to-date with 'origin/YOUR_BRANCH'.
nothing to commit, working tree clean
Rebasing Your Branch
完成commit和remote配置后,即可进行rebase操作:
$ git pull --rebase alicloud master
如果有冲突,解决冲突后继续 rebase,直到所有冲突都解决,之后再次检查状态:
$ git status
On branch YOUR_BRANCH
Your branch and 'origin/YOUR_BRANCH' have diverged,
and have 4 and 1 different commits each, respectively.
(use "git pull" to merge the remote branch into yours)
nothing to commit, working tree clean
Uploading Your Code
完成rebase操作后,上传代码:
$ git push origin <your branch>
如遇到提交失败,可使用-f
或者--force
来强制提交
完成代码上传后,在Github控制台将你的代码提交到主仓库的master
分支,并对PR做一个简单的描述和介绍。同时需要将当前resource或者data source的Acceptance Test的运行结果填写在PR的描述中。
Updating Your Pull Request
如果代码有问题,在Review结束后,需要对已提交的代码做修改,首先将上次提交进行回退:
$ git reset HEAD^1
Unstaged changes after reset:
******
之后,stash并利用rebase下载最新的代码,以避免不必要的冲突:
$ git stash
Saved working directory and index state WIP on YOUR_BRANH: *******
HEAD is now at *******
# rebase 下载最新代码
$ git pull --rebase alicloud master
rebase顺利执行之后,恢复stash代码:
$ git stash pop
On branch YOUR_BRANCH
Changes not staged for commit:
*****
根据review意见,继续修改代码,之后再次进行代码commit,rebase和push即可。
本文主要讲述了如何为阿里云的Terraform-Provider贡献代码的一些流程和注意事项,欢迎大家积极加入到Terraform Provider的建设中来,谢谢大家。