使用Spark BigQuery连接器旋转Dataproc集群

Question

阅读此repo:Google Cloud Storage和BigQuery connectors下的说明，我按照以下初始化操作创建了一个新的Dataproc集群，其中安装了特定版本的Google Cloud Storage和BigQuery connector：

gcloud beta dataproc clusters create christos-test \
--region europe-west1 \
--subnet <a subnet zone> \
--optional-components=ANACONDA,JUPYTER \
--enable-component-gateway \
--initialization-actions gs://<bucket-name>/init-scripts/v.0.0.1/connectors.sh \
--metadata gcs-connector-version=1.9.16 \
--metadata bigquery-connector-version=0.13.16 \
--zone europe-west1-b \
--master-machine-type n1-standard-4 \
--worker-boot-disk-size 500 \
--image=<an-image> \
--project=<a-project-id> \
--service-account=[e-mail] \
--no-address \
--max-age=5h \
--max-idle=1h \
--labels=<owner>=christos,<team>=group \
--tags=allow-internal-dataproc-dev,allow-ssh-from-management-zone,allow-ssh-from-management-zone2 \

--properties=core:fs。gs。含蓄的迪尔。修理启用=错误

正如您应该能够看到的，我必须将外部依赖项添加到我自己的桶中：gs：//init-依赖项-big-20824/init-cript/v.0.0.1/connectors.sh。根据senct的说明（我指的是connector.sh脚本），我还必须在这个桶中添加以下jars：

• gcs-connector-hadoop2-1.9.16。罐子
• gcs-connector-1.7.0-hadoop2。罐子
• gcs-connector-1.8.0-hadoop2。罐子
• bigquery-connector-hadoop2-0.13.16。罐子

脚本工作正常，集群创建成功。但是，通过Jupyter使用PySpark笔记本仍然会导致BigQuery“未找到类”异常。当我直接从终端运行PySpark时也会发生同样的情况。我能够避免该异常的唯一方法是在集群的主节点中复制另一个jar（这次是spark-bigquery\u 2.11-0.8.1-beta-shaded.jar），并使用以下命令启动PySpark：

pyspark --jars spark-bigquery_2.11-0.8.1-beta-shaded.jar

显然，这超出了目的。

我做错了什么？我考虑改变connector.sh脚本，以包括另一个复制函数，所以在/usr/lib/hadoop/lib下复制spark-bigquery_2.11-0.8.1-beta-shaded.jar，所以我试着复制这个jar在那里手动并启动PySpark，但这仍然不起作用...

Answer 1

使用包含依赖项的Google公共火花库

--jars "gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar

或者

--jars "gs://spark-lib/bigquery/spark-bigquery-latest.jar

取决于Dataproc集群部署时使用的Scala版本

这对我来说很好用。

Answer 2

连接器初始化操作仅适用于GoogleCloudDataproc/Hadoop连接器中的Hadoop云存储和BigQuery连接器。

如果使用Spark，通常不应该使用BigQuery connector for Hadoop，因为Spark BigQuery connector存储库中有更新的BigQuery connector for Spark，您已经使用--jars参数添加了它。

要在群集创建期间安装Spark BigQuery连接器，您需要编写自己的初始化操作，将其复制到群集节点上的/usr/lib/火花/jars/目录中。请注意，您不需要复制连接器初始化操作中的所有代码，只需将Spark BigQuery连接器阴影罐从您的云存储桶复制到/usr/lib/Spark/jars/目录：

gsutil cp gs://path/to/spark-bigquery-connector.jar /usr/lib/spark/jars/

更好的方法可能是将Spark BigQuery连接器与其他依赖项一起嵌入到应用程序发行版中。

连接器初始化操作现在支持Spark BigQuery连接器，并可用于在群集创建期间在Dataproc群集上安装Spark BigQuery连接器：

REGION=<region>
CLUSTER_NAME=<cluster_name>
gcloud dataproc clusters create ${CLUSTER_NAME} \
    --region ${REGION} \
    --initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/connectors/connectors.sh \
    --metadata spark-bigquery-connector-version=0.15.1-beta