Google云平台：将数据从发布/订阅累积到云存储中的文件，无需数据流
我试图弄清楚GCP上是否有一项服务，允许使用发布/订阅的流，并将累积的数据转储/批处理到云存储中的文件中（例如，每X分钟一次）。我知道这可以通过Dataflow实现，但如果有现成的解决方案，我会寻找更多的解决方案。
例如，这是可以使用AWS Kinesis Firehose进行的操作—纯粹在配置级别—可以告诉AWS定期或在累积数据达到一定大小时将流中累积的任何内容转储到S3上的文件。
这样做的原因是——当不需要流处理，而只需要积累数据时——我想尽量减少以下额外成本：
- 如果可以完全避免的话，构建一个定制的软件，即使是一个简单的软件
为了避免混淆——我不是在寻找免费的解决方案，而是最佳的解决方案。
共有1个答案
Google为数据流维护了一组模板，以执行其服务之间的常见任务。
您只需插入几个配置值即可使用“Pubsub到云存储”模板-https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtogcstext
-
我们将Google Cloud Datastore用于Google App Engine（GAE）应用程序。在我们的项目改造期间，我们希望将数据库从Datastore迁移到Google CloudSQL。 我们在数据存储中约有1 TB数据，不包括索引。 如何从数据存储迁移到云SQL，是否有任何现有的开源解决方案可用于此。 我已经检查了下面的一个https://cloud.google.com/da
-
我需要从Google Cloud Storage（GCS->Temp Table->Main table)中加载100个表到BigQuery。我创建了一个python进程，将数据加载到BigQuery中，并在AppEngine中进行调度。因为AppEngine最多有10min的超时时间。我已经在异步模式下提交了作业，并在稍后的时间点检查了作业状态。由于我有100个表，需要创建一个监控系统来检查作业
-
我有一个谷歌云发布/订阅和云数据流处理架构，我需要有保证的消息排序。是否可以设置订阅消息流，以便每个主题的数据流工作线程是固定的，因此消息通过相同的数据流工作线程路由，因此应该实现消息排序。 谢谢
-
在我的新公司，我是一名数据工程师，负责构建google cloud platform(GCP)批处理ETL管道。我的团队的数据科学家最近给了我一个数据模型（用Python3.6编写的.py文件）。 数据模型有一个主函数，我可以调用它并获得一个dataframe作为输出，我打算将这个dataframe附加到一个bigquery表中。我是否可以只导入这个主函数，并使用apache beam（Dataf
-
我正在尝试使用DataFlow（Java）将数据从云存储插入到Big Query中。我可以批量上传数据；但是，我想要设置一个流式上传代替。因此，当新对象添加到我的bucket时，它们将被推送到BigQuery。 我已经将PipelineOptions设置为流，并且在GCP控制台UI中显示dataflow管道是流类型的。bucket中的初始文件/对象集被推送到BigQuery。 但是当我向桶中添加新
-
主题中的Kafka数据可以被流式传输、消费和吸收到BigQuery/云存储中，有哪些可能的选项。 按照，是否可以将Kafka与Google cloud Dataflow一起使用 GCP自带Dataflow,它建立在Apache Beam编程模型之上。KafkaIO与Beam Pipeline一起使用是对传入数据执行实时转换的推荐方式吗？ https://beam.apache.org/releas