在Apache Beam中从GCS读取文件

Question

我需要从GCS存储桶中读取文件。我知道我必须使用GCS API /客户端库，但找不到任何与之相关的示例。

我一直在GCS文档中参考此链接： GCS客户端库。但是不能真正地削弱。如果有人可以提供一个真正有帮助的例子。谢谢。

Answer 1

好。如果您只是想从GCS中读取文件，而不是从PCollection中读取文件，而是从常规文件中读取文件，并且在使用GCS
Java客户端库时遇到问题，还可以使用Apache Beam
FileSystems
API：

首先，你需要确保你在你的Maven的依赖pom.xml于beam-sdks-java-extensions-google-cloud- platform-core它包含执行的gs://文件系统：

<dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-sdks-java-extensions-google-cloud-platform-core</artifactId>
</dependency>

然后设置FileSystems API（默认情况下，在所有管道中都设置了该API，但是如果您在管道外部使用它，则需要手动进行操作）。

PipelineOptions options = PipelineOptionsFactory.create();
// ...Optionally fill in options such as GCP credentials...
// (see GcpOptions class)
FileSystems.setDefaultPipelineOptions(options);

然后，您可以使用它：

ReadableByteChannel chan = FileSystems.open(FileSystems.matchNewResource(
  "gs://path/to/your/file", false /* is_directory */));
try (InputStream stream = Channels.newInputStream(chan)) {
  // Use regular Java utilities to work with the input stream.
}