在dataproc上提交Presto作业

Question

我试图提交一个dataproc作业在运行Presto的群集与postgresql连接器。

集群初始化如下所示：

gcloud beta dataproc clusters create ${CLUSTER_NAME} \
    --project=${PROJECT} \
    --region=${REGION} \
    --zone=${ZONE} \
    --bucket=${BUCKET_NAME} \
    --num-workers=${WORKERS} \
    --scopes=cloud-platform \
    --initialization-actions=${INIT_ACTION}

${INIT_ACTION}指向一个bash文件，其中包含使用postgresql启动presto集群的初始化操作。

我不使用--optional components=PRESTO，因为我需要--initialization actions来执行非默认操作。同时具有--可选组件和--初始化操作都不起作用。

当我尝试运行简单作业时：

gcloud beta dataproc jobs submit presto \
  --cluster ${CLUSTER_NAME} \
  --region ${REGION} \
      -e "SHOW TABLES"

我得到以下错误：

ERROR: (gcloud.beta.dataproc.jobs.submit.presto) FAILED_PRECONDITION: Cluster 
'<cluster-name>' requires optional component PRESTO to run PRESTO jobs

是否有其他方法来定义集群上的可选组件？

更新：

同时使用--可选组件和--初始化操作，如下所示：

gcloud beta dataproc clusters create ${CLUSTER_NAME} \
    ...
    --scopes=cloud-platform \
    --optional-components=PRESTO \
    --image-version=1.3 \
    --initialization-actions=${INIT_ACTION} \
    --metadata ...

${INIT_ACTION}是从该repo复制的。只需对函数进行轻微修改，即可配置_连接器以创建postgresql连接器。

运行创建群集时，会给出以下错误：

ERROR: (gcloud.beta.dataproc.clusters.create) Operation [projects/...] failed: Initialization action failed. Failed action 'gs://.../presto_config.sh', see output in: gs://.../dataproc-initialization-script-0_output.

错误输出记录为：

+ presto '--execute=select * from system.runtime.nodes;'
Error running command: java.net.ConnectException: Failed to connect to localhost/0:0:0:0:0:0:0:1:8080

这让我相信我必须重新编写初始化脚本。

当我指定--option-组件=PRESTO时，最好知道哪个初始化脚本正在运行。

Answer 1

如果您只想将可选组件设置为与Postgresendpoint一起工作，那么编写可选组件非常简单。您只需添加目录文件并重新启动presto。

https://gist.github.com/KoopaKing/8e653e0c8d095323904946045c5fa4c2

是初始化操作的一个示例。我已经用presto可选组件成功地测试了它，但它非常简单。您可以自由地提出示例，并将其放在您的GCS桶中。