从BigQuery和/或云存储GCS读取数据到Dataproc
我正在将数据从BigQuery读入dataproc spark集群。如果在我的例子中BigQuery表中的数据最初是从GCS加载的，那么如果BigQuery connector for dataproc（newAPIHadoopRDD）首先将数据下载到Google云存储桶中，那么直接从GCS读取数据是否更好？这两种方法有什么利弊吗？
共有1个答案
使用BigQuery连接器最适合于希望尽可能抽象GCS导出/导入，并且不希望显式管理GCS内部的数据集的情况。
如果GCS中已经有了数据集，那么直接使用GCS数据集可能会更好，这样可以避免额外的导出步骤，还可以直接使用更简单的文件系统接口。缺点是维护数据集的两个副本（一个在GCS中，一个在BQ中）并保持它们同步的成本更高。但是，如果大小不太大，并且数据更新不太频繁，您可能会发现保留GCS数据集以便直接访问是最容易的。
-
我需要从Google Cloud Storage（GCS->Temp Table->Main table)中加载100个表到BigQuery。我创建了一个python进程，将数据加载到BigQuery中，并在AppEngine中进行调度。因为AppEngine最多有10min的超时时间。我已经在异步模式下提交了作业，并在稍后的时间点检查了作业状态。由于我有100个表，需要创建一个监控系统来检查作业
-
我试图读取一个csv文件目前在谷歌云存储桶到熊猫数据帧。 它显示以下错误消息： 我做错了什么，我无法找到任何不涉及谷歌数据实验室的解决方案？
-
问题内容： 我正在尝试通过API将bigquery数据导出到Google云存储桶。我从这里https://cloud.google.com/bigquery/docs/exporting- data 修改了代码段 由于数据是嵌套的，因此无法与“ JSON”交换格式，因此无法将其与“ gs：//mybucket/export_*.json”导出为CSV和gcsUrl。但是错误消息告诉我以下问题： 有
-
我正试图从控制台/命令行将一个表从big query导出到google cloud storage。控制台作业运行了几分钟，并在没有任何错误代码的情况下出错，命令行作业在运行一段时间后也会出现以下错误： 提取操作中的BigQuery错误：错误处理作业“数据流-实验：BQJOB_R308FF0F73D1820A6_00000157F77E8AB9_1”：后端错误。作业中止。 上面给出了命令行的作业i
-
我正在使用Spring引导连接到谷歌云存储。 我能够连接到一个文件，并从谷歌云存储桶中读取内容。 但是我不能得到谷歌云存储桶中所有文件的列表。 请帮帮我。 这很有效 这不工作。 有什么原因吗？
-
我尝试运行一个数据流管道，使用DirectPipelineRunner从本地计算机（windows）读取数据，并写入Google云存储。作业失败，出现以下指定FileNotFoundException的错误（因此我认为数据流作业无法读取我的位置）。我正在本地计算机上运行作业，以运行我创建的基于GCP的模板。我可以在GCP数据流仪表板中看到它，但由于以下错误而失败。请帮忙。我还尝试了本地机器的IP或