设置和使用GCP提供的pub-sub-to-big-query DataFlow模板

Question

我正在尝试将发布/订阅消息流式传输到具有匹配模式的BigQuery表中。我想使用GCP提供的PubSubbigQuery模板来完成此操作，但无法成功设置。

这是我目前为止尝试过的

>

我创建了一个GCE实例，该实例具有写入GS的权限（有用的链接）

从git克隆GCP源https://github.com/GoogleCloudPlatform/DataflowTemplates

如这里所指定的，运行mvn compile-exec:java-Dexec。mainClass=com.google.云传送。模板。PubSubToBigQuery

该进程创建了在/staging桶中创建的所有jar文件。它应该在/template桶中生成模板信息，但没有。

我错过了什么？

Answer 1

我尝试在项目根目录中执行此命令：

#!/bin/bash
PROJECT_ID=XXX
BUCKET_NAME=XXX
PIPELINE_FOLDER=gs://YYY/dataflow/pipelines/pubsub-to-bigquery

# Set the runner
RUNNER=DataflowRunner

# Build the template
mvn compile exec:java \
-Dexec.mainClass=com.google.cloud.teleport.templates.PubSubToBigQuery \
-Dexec.cleanupDaemonThreads=false \
-Dexec.args=" \
--project=${PROJECT_ID} \
--stagingLocation=${PIPELINE_FOLDER}/staging \
--tempLocation=${PIPELINE_FOLDER}/temp \
--templateLocation=${PIPELINE_FOLDER}/template \
--runner=${RUNNER}"

它成功生成了一个模板文件：

$gsutil ls -lh gs://YYY/dataflow/pipelines/pubsub-to-bigquery/template
228.33 KiB  2019-01-14T05:54:01Z  gs://YYY/dataflow/pipelines/pubsub-to-bigquery/template
TOTAL: 1 objects, 233805 bytes (228.33 KiB)

你能在你这边贴些原木吗？