当前位置: 首页 > 知识库问答 >
问题:

从AWS运动迁移

皇甫福
2023-03-14

我和我的团队有一个基于亚马逊Kinesis服务的流媒体系统,该系统使用Java独立消费者和KCL向其他团队提供跟踪信息。我们已经决定将这个系统迁移到谷歌云平台。

我们了解到,Google Platform中Amazon Kinesis的自然替代品是Google Cloud Dataflow服务。对吗?

其他问题是关于数据分区,因为我们在Kinesis中使用user-id作为分区键。是否可以在Google数据流上执行相同的分区?

当然,以前有没有人做过类似的从AWS到Google平台的迁移?有什么建议吗?

共有1个答案

卢出野
2023-03-14

是的,Cloud Dataflow将是正确的选择,如果您想使用主题和订阅,您可能还想将Cloud Pub/Sub视为您的消息传递中间件。

在数据流中完全可以按键对数据进行分区,但您不需要为整个管道确定单个分区键。相反,当您准备好进行聚合操作时,您只需定义一个GroupByKey转换,数据流就会将您的数据正确地分成多个存储桶,并以分布式方式在多个工作线程上并行处理它们。每个工作者都将拥有一个子范围的密钥。

您可以在一个序列中拥有多个GroupByKeys,它们可以使用不同的键来进行分片和聚合。

最近一个前AWS用户迁移到GCP(特别是数据流)的例子是Brightcove。这是他们的GCP下一个会话的记录https://www.youtube.com/watch?v=3BrcmUqWNm0

 类似资料:
  • 我在AWS云服务中设置了一个项目。在那里我使用了EC2实例、AMI、弹性IP、互联网门路、NACL、路由表、安全组、自定义VPC、私有和公共子网、弹性负载平衡、自动伸缩、启动配置、KMS-key、Lambda、RDS Aurora实例、S3桶、简单电子邮件服务、简单队列服务、简单通知服务、云观察日志。现在我的客户要求将所有服务从现有的AWS帐户迁移到新的AWS帐户。

  • 我目前在AWS和ECS实例运行在Fargate。我想迁移到Fargate Spot,因为定价,但我注意到我的容器可能会有停机时间,如果我为每个实例安排了例如2个任务,我能确定不会有这样的停机时间吗?如果没有,有一种方法可以摆脱Fargate Spot的停机时间。谢谢

  • 嗨,我正在尝试将我的Android Studio项目从迁移到,因此我进行了更改: 用RememberNamedNavController()替换rememberNavController()。 将NavHost替换为在本博客上找到的AnimatedNavHost:https://medium.com/androiddevelopers/animations-in-navigation-compos

  • socket.io文档: 启动服务器 另外,是否可以在没有http服务器的情况下使用socket.io(express、node http服务器等)?

  • Rax 在 DSL 层面与框架设计方面借鉴了 React 的部分思想,但是舍弃了 React 部分传统的 API,所以体积上更加轻量。Rax 推荐开发者使用函数组件(Function Component)配合 Hooks 开发,相比传统类组件(Class Components)是一种更轻量便捷的开发风格。 接下来,我们将介绍两种把现有项目从 React 迁移到 Rax 方法。 通过修改写法迁移 由

  • 配置项变化 以下选项已被删除,应通过 插件 实现: resolvers transforms indexHtmlTransforms jsx 和 enableEsbuild 都已被删除,请使用新的 esbuild 选项。 CSS 相关选项 都被包含在 css 字段下。 所有 用于构建的选项 现在都在 build 字段下。 rollupInputOptions 和 rollupOutputOptio