Scala代码不能获取s3文件

Question

我正在尝试运行一个EMR滚烫作业，Scala代码将获取位于S3 bucket中的文本文件的内容。scala.io.source库搞乱了S3路径的正确位置。

--runidfile s3://my-bucket/input.txt

val runid_path = args("runidfile")
val runid = Source.fromFile(runid_path).getLines().mkString

对此有什么解决办法或变通办法吗？我尝试使用source.fromurl，但是S3不是一个有效的协议，所以它不接受它。

Answer 1

scala.io.source库不是用来直接从Amazon S3访问文件的。你需要另一个图书馆。

您可以使用offical Amazon S3 Java库。下面是一些示例代码（从这个问题及其答案中一起复制而来）

val credentials = new BasicAWSCredentials("myKey", "mySecretKey")
val s3Client = new AmazonS3Client(credentials)
val s3Object = s3Client.getObject(new GetObjectRequest("my-bucket", "input.txt"))
val myData = Source.fromInputStream(s3Object.getObjectContent())

val runid = myData.getLines().mkString