从本地spark实例读取google storage gs：//文件系统

Question

问题很简单：您有一个本地spark实例（或者是集群，或者只是在本地模式下运行它），您希望从gs：//读取

Answer 1

在我的Spark2.4.3中，我需要执行以下操作来启用从Spark Local的GCS访问。我使用了JSON密钥文件，而不是上面提出的client.id/secret。

>

在$spark_home/jars/中,从以下网址使用带阴影的gcs-connectorjar：http://repo2.maven.org/maven2/com/google/cloud/bigdataoss/gcs-connector/hadoop2-1.9.17/,否则我会遇到传递依赖项的各种故障。

（可选）添加到我的build.sbt中：

"com.google.cloud.bigdataoss" % "gcs-connector" % "hadoop2-1.9.17"
    exclude("javax.jms", "jms")
    exclude("com.sun.jdmk", "jmxtools")
    exclude("com.sun.jmx", "jmxri")

在$spark_home/conf/spark-defaults.conf中，添加：

spark.hadoop.google.cloud.auth.service.account.enable       true
spark.hadoop.google.cloud.auth.service.account.json.keyfile /path/to/my/keyfile

一切正常。