在google云平台中运行数据流时，“没有为方案gs找到文件系统”

Question

我正在谷歌云平台（GCP）上运行我的谷歌数据流工作。当我在本地运行此作业时，它工作得很好，但在GCP上运行时，我得到了错误“java.lang.IllegalArgumentException:没有为scheme gs找到文件系统”。我可以访问那个google云URI，我可以将我的jar文件上传到那个URI，我还可以看到一些本地工作的临时文件。

我在GCP的工作id:

2019-08-08_21_47_27-162804342585245230（光束版本：2.12.0）

2019-08-09_16_41_15-117286978208900062（梁版本：2.14.0）

我试过2.12.0和2.14.0的beam版本，两个版本都有同样的错误。

java.lang.IllegalArgumentException: No filesystem found for scheme gs
    at org.apache.beam.sdk.io.FileSystems.getFileSystemInternal(FileSystems.java:456)
    at org.apache.beam.sdk.io.FileSystems.matchNewResource(FileSystems.java:526)
    at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers.resolveTempLocation(BigQueryHelpers.java:689)
    at org.apache.beam.sdk.io.gcp.bigquery.BigQuerySourceBase.extractFiles(BigQuerySourceBase.java:125)
    at org.apache.beam.sdk.io.gcp.bigquery.BigQuerySourceBase.split(BigQuerySourceBase.java:148)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSources.splitAndValidate(WorkerCustomSources.java:284)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSources.performSplitTyped(WorkerCustomSources.java:206)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSources.performSplitWithApiLimit(WorkerCustomSources.java:190)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSources.performSplit(WorkerCustomSources.java:169)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSourceOperationExecutor.execute(WorkerCustomSourceOperationExecutor.java:78)
    at org.apache.beam.runners.dataflow.worker.BatchDataflowWorker.executeWork(BatchDataflowWorker.java:412)
    at org.apache.beam.runners.dataflow.worker.BatchDataflowWorker.doWork(BatchDataflowWorker.java:381)
    at org.apache.beam.runners.dataflow.worker.BatchDataflowWorker.getAndPerformWork(BatchDataflowWorker.java:306)
    at org.apache.beam.runners.dataflow.worker.DataflowBatchWorkerHarness$WorkerThread.doWork(DataflowBatchWorkerHarness.java:135)
    at org.apache.beam.runners.dataflow.worker.DataflowBatchWorkerHarness$WorkerThread.call(DataflowBatchWorkerHarness.java:115)
    at org.apache.beam.runners.dataflow.worker.DataflowBatchWorkerHarness$WorkerThread.call(DataflowBatchWorkerHarness.java:102)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

Answer 1

[GOLANG]在我的案例中，它是通过应用以下导入的副作用来解决的

import (
_ "github.com/apache/beam/sdks/go/pkg/beam/io/filesystem/gcs"
_ "github.com/apache/beam/sdks/go/pkg/beam/io/filesystem/local"
_ "github.com/apache/beam/sdks/go/pkg/beam/io/filesystem/memfs"
)

Answer 2

此例外还有一个原因。在尝试访问文件之前，请确保创建管道（例如流水线.create（选项））。

Answer 3

这可能是由几个问题引起的，如果你构建一个捆绑所有依赖项的“胖罐子”。

1. 您必须包含依赖关系组织 apache.beam：谷歌云平台核心才能拥有光束 GCS 文件系统。
2. 在你的远罐中，你必须保留元- INF /服务/组织.apache.beam.sdk.io.文件系统注册ar文件与一个线组织.apache.beam.sdk.extensions.gcp.storage.GcsFileSystemRegistrar.您可以在步骤 1 的 jar 中找到此文件。您的依赖项中可能有许多同名的文件，注册不同的 Beam 文件系统。您需要配置 maven 或 gradle 以将这些内容合并为构建的一部分，否则它们将相互覆盖且无法正常工作。