Google Analytics->Bigquery->每日导出到IBM云存储
bq extract
gsutil cp
1）我们可以跳过谷歌云存储之间，是否可以直接导出到IBM bucket？
2）我们以前没有使用过数据流。这个用例可以作为使用数据流的候选吗？或者什么是GCP内部最简单的解决方案？
共有1个答案
这里的最佳选择是以计划的方式使用BQ Extract，这样您就可以使用组装在云函数中的云调度器。
- 云调度程序命中云函数终结点。
- GCF向GCS运行提取作业
- 另一个GCF观察GCS桶中的新文件，并通知/上传到IBM Cloud Storage。
我们用了不到一个小时的时间就把它接上电线，让它工作起来。因为您必须设置两个云函数和调度器。
-
问题内容： 我正在尝试通过API将bigquery数据导出到Google云存储桶。我从这里https://cloud.google.com/bigquery/docs/exporting- data 修改了代码段 由于数据是嵌套的，因此无法与“ JSON”交换格式，因此无法将其与“ gs：//mybucket/export_*.json”导出为CSV和gcsUrl。但是错误消息告诉我以下问题： 有
-
我正试图从控制台/命令行将一个表从big query导出到google cloud storage。控制台作业运行了几分钟，并在没有任何错误代码的情况下出错，命令行作业在运行一段时间后也会出现以下错误： 提取操作中的BigQuery错误：错误处理作业“数据流-实验：BQJOB_R308FF0F73D1820A6_00000157F77E8AB9_1”：后端错误。作业中止。 上面给出了命令行的作业i
-
我试图设置一个接收器，将某个特定的谷歌云平台日志导出到谷歌云存储桶，但无法使其工作，文档似乎与GCP控制台上发生的情况不匹配。 2）我选择“创建导出”并填写字段： 接收器名称=defaultServiceToGCSSink 下沉服务=Google Cloud 存储接收器目的地=mylogsbucket 点击OK后，我收到一条消息：未知用户电子邮件地址:defaultServiceTogcssink
-
我使用以下文章创建了一个云函数来将云SQL数据库导出到云存储:https://medium.com/@kennethteh90/how-to-schedure-daily-cloud-sql-export-to-google-cloud-storage-4C1BD360AF06 package.json： 作为运行时，我使用Node.js8。要执行的函数：doBackup（） 我在以下期间收到错误
-
几周前，我使用下面的脚本成功地从watson导出了日志。然而，在过去几天里，我无法使用相同的脚本导出日志。 发送请求后，我收到了错误消息“找不到日志”。 请问有没有人也遇到过这个问题？ https://github.com/watson-developer-cloud/community/commit/b91891c5379ecc62b1ddcded34f6e4a1d58d6e1c
-
我的目标是使用BigQuery web界面将我的所有（GCS创建的）日志从Google Cloud Storage中获取到BigQuery中。由于日志每小时创建一次，所以我喜欢一次导入所有日志来进行分析。 因此，例如gs://logging-bucket/images.mysite.net_storage_2013_03_31_07_00_00_0001a_v0、gs://logging-buck
-
我试图在bigquery中创建一个表，从google存储中传输csv。这个csv有3000万行，我得到了这些错误，例如： 读取数据时出错，错误消息：行中从位置2543333656开始的值太多。找到4列，而预期为3列 读取数据时出错，错误消息：行中从位置254312106开始的值太多。找到4列，而预期为3列 这很尴尬，我的csv中没有所有这些行。它在2.5亿行中发现了一个错误。怎么可能？？ 非常感谢
-
我正在运行一个部署到Google App Engine的Node.js应用程序。我还使用了winston库和'StackDriver Logging winston Plugin'[@google-cloud/logging-Winston]。 “链接到温斯顿日志设置教程” “链接到将日志导出到谷歌存储桶的教程” 我通过创建一个接收器将stackdriver日志导出到Google存储桶。目前，所有