Google DataFlow：从Google云存储中读取未绑定的PCollection
我有一个将JSON消息从PubSub（未绑定的PCollection）流到Google云存储的管道。每个文件应该包含多个JSON对象，每行一个。
谢谢
共有1个答案
流处理仅适用于PubSub DataSource。但别担心，你可以实现你的管道。
- 在pubsub上的bucket to publish事件上创建通知订阅
- 创建侦听PubSub消息的管道。
- 当消息到达时，读取它并获取文件URI
- 使用存储API读取文件并将每一行插入管道
- 用每个解码行继续您的管道。
-
我正在使用Spring引导连接到谷歌云存储。 我能够连接到一个文件，并从谷歌云存储桶中读取内容。 但是我不能得到谷歌云存储桶中所有文件的列表。 请帮帮我。 这很有效 这不工作。 有什么原因吗？
-
提前谢谢你。我在文件中找不到任何相关的东西。它提供了关于如何创建bucket、如何上传、如何下载、如何授予权限的信息，但没有关于如何读取它的信息。 此外，我如何从我的计算机打开它（在运行'GCloud app deploy'命令之前）？
-
当我试图从Google Cloud Storage（App Engine、Python和Standard Env）中读取文件内容（纯文本）时，我会得到以下跟踪： 虽然设置了“公开共享”，但我在默认的bucket中工作（根据我的理解，应用程序应该具有完全的权限），并且我能够将内容写入/上传到相同的文件中。
-
OpenGL标准是否要求应该给一个程序没有绑定到纹理单元的统一采样器2D给出一个texture 2d操作的结果？ 例如在像素着色器中： 在该计划中： 对于上下文，我想知道是否可以对纹理实体和非纹理实体使用相同的着色器，其中（希望如此），我只需要确保没有任何东西绑定到GL_TEXTURE_2D，以便texture2d（）返回0,0,0,1。否则，我需要为每个置换使用一个着色器。
-
我有一个firebase帐户，我想以编程方式上传一些照片到firebase存储。为此，我使用了google cloud java storage API。我配置权限和其他权限。我可以成功地创建桶，斑点。然而，当我试图上传一张图片时，要么它的大小为0，要么它无法下载（不生成URL）。下面是我使用的代码； 任何建议都很感激。问候。
-
我们将Google Cloud Datastore用于Google App Engine（GAE）应用程序。在我们的项目改造期间，我们希望将数据库从Datastore迁移到Google CloudSQL。 我们在数据存储中约有1 TB数据，不包括索引。 如何从数据存储迁移到云SQL，是否有任何现有的开源解决方案可用于此。 我已经检查了下面的一个https://cloud.google.com/da