我试图以某种方式将现有的AWS数据管道任务导出到Terraform基础设施。
因此,对于这个问题,没有对数据管道的直接支持,但它似乎仍然可以使用云形成模板(地形资源)来实现。
问题是我找不到将现有管道导出到CloudForm模板的方法。
使用其特定定义语法导出管道将不起作用,因为我没有找到将此定义包含到CloudForm中的方法。CloudEx也不支持导出管道。
是否有人知道如何将管道导出到CloudFormation,或以其他方式使用Terraform自动化AWS数据管道?
谢谢你的帮助!
UPD【2019年7月】:在地形存储库方面取得了一些进展<代码>aws\U datapipeline\U pipeline已实现,但尚不清楚如何使用它。合并的拉取请求
原始答案:
为了解决这个问题,我提出了一个节点。js脚本,它涵盖了我的用例。此外,我还创建了一个用于地形配置的地形模块。
这是带有代码的要点链接
将在此处复制使用示例。
node converter-cli.js ./template.json "Data Pipeline Cool Name" "Data Pipeline Cool Description" "true" >> cloudformation.json
module "some_cool_pipeline" {
source = "./pipeline"
name = "cool-pipeline"
description = "The best pipeline!"
activate = true
template = "${file("./cool-pipeline-template.json")}"
values = {
myDatabase = "some_database",
myUsername = "${var.db_user}",
myPassword = "${var.db_password}",
myTableName = "some_table",
}
}
我在DynamoDB有一个表,它有数百万条记录。我已经根据标准创建了一个二级索引(GSI),并基于此筛选产品。现在,我想使用AWS数据管线从表中查询产品并将其导出到S3。 a)我们可以在管道中指定GSI名称吗?因为使用数据管道对大型表进行查询会因为超时问题而被取消。[管道配置有6小时的最大等待时间,它正在达到并被取消]?b)有没有更好的方法来使用GSI索引从表中快速创建导出转储? 请分享你的观点。
我有很多AWS资源(ec2实例、rds、s3等) 这些资源是多年来在AWS控制台中手动创建的。 现在我想使用云形成复制这个环境。最好的方法是什么?有没有一种工具可以将所有资源转换为云形成堆栈或模板? 我什么也找不到,或者我没有正确理解这个过程...
我正在尝试将本地SQL Server 2016 Enterprise Edition实例中的数据获取到云中。我遇到了一个障碍,所以如果有人对解决方法有任何指导,我真的很感谢你分享你的知识! 我计划使用AWS数据库迁移服务(aws.amazon.com),在这篇文章中我将其称为“DMS”。出于监管原因,数据库必须保持在本地,因此我需要不断地从该数据库中捕获数据并将其发送到云端。在这方面,我将使用更改
我已经通过AWS控制台创建了AWS网络资源(VPC、子网、IGW等)。现在,我正在尝试创建一个由现有的 问题1:这是正确的方法吗?(因为我们有diff envs来处理动态AWS资源,所以我正在这样做) 问题2:我可以用VPC、子网设置参数,但不能用Internet gateway设置参数。如何将internetgateway作为参数? 谢谢
我有一个DynamoDB表,存储1Gb的数据。RCU和WCU各为1000。我设置了一个数据管道,将这1GB的数据导出到s3。整个1GB的数据在分区中导出到s3。我的问题是什么决定了这些分区的数量和大小?
我已经制作了一个CodePipeline管道CloudForm模板并将其部署为堆栈。我想通过另一个CloudForm堆栈向这个现有管道添加一个操作。 从文档中,我只能看到管道资源,它允许我创建一个全新的堆栈,而不是通过提供ARN或类似的东西来编辑现有的堆栈。也没有提供支持代码管道功能(如操作)的细粒度资源。请参阅下面的URL: https://docs.aws.amazon.com/AWSClou