GCP Dataflow pub/sub到云存储上的文本文件
一旦被dataflow读取的消息就不会得到确认。我们如何确保一旦被数据流消费的消息被确认，并且对任何其他订阅者不可用？
为了重现和测试它，从同一个模板创建2个作业，您将看到这两个作业处理相同的消息。
共有1个答案
首先，正确地确认消息。
然后，为了证明这一点，以及你的繁殖是如何错误的，我想集中讨论PubSub的行为。
- 一个或多个发布者发布主题中的邮件
- 可以在一个主题上创建一个或多个订阅
- 主题中发布的所有邮件都复制在每个订阅中
- 订阅可以有一个或多个订阅服务器。
- 每个订阅服务器接收订阅中的消息子集。
-
我想按照官方文档中提供的示例将一个文件上传到Google云存储 然而，我得到了一个错误： 线程“main”com.google.cloud.storage.StorageException中的异常：获取服务帐户的访问令牌时出错：400个错误请求{“错误”：“无效的授予”、“错误描述”：“无效的JWT:令牌必须是短期令牌（60分钟）并且在合理的时间范围内。请检查JWT声明中的iat和exp值。”位于
-
从spring boot Controller上传文件到谷歌云存储。请提供我一个代码。 到目前为止，我得到了这样一个代码
-
我有一个要求，我需要上传文件到谷歌云存储（他拥有并完全维护它）桶。 这个谷歌云存储桶是由我的客户创建的。 我是谷歌云的新手，有亚马逊S3的经验。我在服务器上运行SSI，以将事务数据加载到平面文件。 我为谷歌云创建了一个示例帐户，并安装了谷歌SDK。我可以通过gsutil手动上传文件。 我的问题是 > 我应该如何建议我的客户共享凭据？ 我如何连接到谷歌云存储与提供凭据独立？ 如何通过以上两个步骤将文
-
我正在尝试使用GCP模板执行管道：https://cloud.google.com/dataflow/docs/templates/provided-templates#cloud-storage-text-to-bigquery 但我得到了错误： 任何人都可以共享一个工作的CSV文件以用作运行该管道的输入吗？
-
如果在GCS上存储了一个。txt文件，该文件包含将用作一部分的单词列表，可以在apache beam管道中动态访问该列表吗？我知道我可以将这个列表定义为管道中的全局变量，但我不确定如何将整个文件读入列表，以及是否有任何beam技巧来实现这一点。有什么建议吗？这是我当前的实现，这是不工作的… 我得到以下错误“TypeError：类型'_invalidunpickledpCollection'的参数不
-
Firebase Admin SDK文档清楚地说明，服务帐户对存储帐户具有完全的范围控制，但由于传输令牌源为nil，因此正确引导凭据似乎有些错误。