移动数据时，通过云功能进行数据流的好处是什么？

Question

我对GCP比较陌生，刚刚开始在GCP上建立/评估我的组织架构。

场景：
数据将流入发布/子主题（高频率，低数据量）。目标是将这些数据移动到Big Table中。据我所知，您可以通过在主题上触发云函数或使用Dataflow来做到这一点。

现在我有以前使用云功能的经验，我对此很满意，所以这将是我的选择。

我看不出选择其中一个的好处。所以我的问题是什么时候选择这些产品？

谢谢

Answer 1

您的需求听起来相对简单，数据流可能对您正在尝试做的事情来说是多余的。如果云函数满足您的需求，他们可能会坚持下去。我经常发现简单性是可运维性的关键。

然而，当您需要执行转换，例如在将这些事件存储到BigTable中之前按用户合并这些事件时，这就是数据流真正发挥作用的地方：

https://beam.apache.org/documentation/programming-guide/#groupbykey

Answer 2

这两种解决方案都可以工作。如果您的发布/订阅流量增长到大量数据，数据流将更好地扩展，但Cloud Functions应该可以很好地处理少量数据；我会查看此页面（尤其是速率限制部分）以确保您适合Cloud Functions：https://cloud.google.com/functions/quotas

另一件需要考虑的事情是，数据流可以保证数据只处理一次，这样就不会在BigTable中出现重复数据。云函数不会在开箱即用的情况下为您做到这一点。如果使用函数方法，则需要确保发布/订阅消息一致地确定写入哪个BigTable单元格；这样，如果函数重试几次，相同的数据只会覆盖相同的BigTable单元格。