在apache camel中处理大型压缩文件

Question

我正试图从ftp服务器获得一个带有.zip压缩的文件，并尝试使用Camel将其存储在带有.gzip压缩的S3中。下面是我目前拥有的路线。

from("sftp://username@host/file_path/?password=<password>&noop=true&streamDownload=true")
    .routeId("route_id")
    .setExchangePattern(ExchangePattern.InOut)
    .unmarshal().zipFile()
    .marshal().gzip()
    .to("aws-s3://s3_bucket_name?amazonS3Client=#client");

这对较小的文件很好用。但我的文件压缩时大小约为700 MB。对于这种大小的文件，我获得了OutOfMemoryError For Java堆空间
我知道在camel(.split（body（）.tokenize（“\n”））.streaming（）)中有一个流式处理选项，但我不确定是否可以在流式处理时进行marshal和marshal。（我在这里看到了一个类似的解决方案，但在本例中，源文件是纯文本/csv）。
问题的第二部分是将文件流回S3。我知道camel-aws组件中的multiPartUpload选项，但它似乎要求源代码是一个文件。我不知道如何做到这一点。

这能在不在自定义处理器中使用java代码处理（解压缩然后gzipping）文件的情况下实现吗？

环境：Camel 2.19.3,Java 8

谢谢

Answer 1

我使用streamcaching()解决了这个问题。所以我会这么做

from('xyz')
.streamCaching()
.unmarshall().gzip()
.to('abc')
.end()