如何从s3解压文件并将其保存回s3

Question

我有一些。S3上bucket中的zip文件。我需要解压并将其保存回bucket中，无需本地文件系统。

我知道S3是静态存储，但我可以通过给S3提供路径来解压S3本身上的文件。

我有以下问题。

>

我可以通过桶/文件夹的路径到FileOutputStream（桶路径），所以它解压文件直接在那里。

BufferedOutputStream=new BufferedOutputStream（new FileOutputStream（filePath））；

S3Object。putObject（）也接受inputstream作为参数，我可以直接将ZipEntry转换为inputstream并将其作为带有元数据的参数传递。

我需要使用EMR来执行所有操作（本地文件系统不会出现在图片中）。我可以从s3读取zip文件并使用EMR解压文件并将其保存在s3上吗。

这是我的密码。

S3Object s3object = s3Client.getObject(new GetObjectRequest(bucketName,objName));   //sandip.zip

ZipInputStream in = new ZipInputStream(s3object.getObjectContent());
ZipEntry entry=in.getNextEntry(); // sandip_1.graphml
try {
    while ((entry!= null)){                         
        s3Client.putObject(bucketName, entry.getName(), new File(entry.getName()));
    }
 }
catch (IOException e) {
    e.printStackTrace();

}

我当前的代码引发以下异常。

Exception in thread "main" com.amazonaws.AmazonClientException: Unable to calculate MD5 hash: sandip_1.graphml (The system cannot find the file specified)
at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1319)
at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1273)
at com.example.testaws.test2.createAdjListZipFiles(Unknown Source)
at com.example.testaws.test1.main(test1.java:33)
Caused by: java.io.FileNotFoundException: sandip_1.graphml (The system cannot find the file specified)
at java.io.FileInputStream.open0(Native Method)
at java.io.FileInputStream.open(Unknown Source)
at java.io.FileInputStream.<init>(Unknown Source)
at com.amazonaws.util.Md5Utils.computeMD5Hash(Md5Utils.java:97)
at com.amazonaws.util.Md5Utils.md5AsBase64(Md5Utils.java:104)
at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1316)
... 3 more

请给我提示或参考。

Answer 1

首先，有一件事你是对的。S3是静态存储，因此不能直接在S3上进行任何文件级更改。你必须下载文件，根据需要进行转换，然后上传回来。

其次，您完全可以使用EMR来实现这一点。事实上，这会让你的生活变得很轻松。试试这个：

>

创建安装了Hive的EMR集群。

创建一个类似这样的配置单元表：创建外部表x{record string}位置's3://blah'；

创建另一个名为y的表，如上所述，添加一个选项：“存储为textfile”

现在执行“插入覆盖表y从x选择记录”。

在这里，Hive将自动检测输入文件是否被gzip。之后，您所做的就是指示Hive将相同的数据存储在相同的S3位置，但作为文本文件。

另外，我无法发布准确的代码或正确的格式，因为我正在忙着回答这个问题。但我希望你能了解大概情况。这肯定会起作用，因为我已经做过几次了。