file2和ftp2之间的骆驼流拆分器行为不同

Question

我是Camel的新手，网上没有类似的问题让我相信我在做一些愚蠢的事情。我正在使用camel 2.12.1组件，并且正在从本地目录解析大型CSV文件，并通过SFTP下载它们。我发现

拆分（body（）. Tokenize（"\n"））.流（）.散集（）. csv（）

适用于本地文件（windows 7）；我与

列表

对于csv文件中的每一行。但是，当我从sftp组件（连接到linux服务器下载文件）使用相同的路由语法时，我会得到一个带有一行代码的单交换，读起来像是对“ls”的调用：

-rwxrwxrwx 1用户名用户名83400 12月16日14:11文件名。csv

经过反复试验，我发现

拆分（body（））。流式处理（）。解组（）。csv（）

使用sftp组件可以正确地加载和解析文件，但它在流模式下不会这样做，它会在将整个文件解组到单个exchange之前将其加载到内存中。

我从camel 2.10中发现了一个类似的错误报告（https://issues.apache.org/jira/browse/CAMEL-6231），子句将其关闭为无效，表明报告者错误地使用了线程和并行流，但我没有配置这些功能。

我使用的sftp节是：

sftp://192.168.1.1?fileName=fileName.csv&username=userName&password=secret!&idempotent=true&localWorkDirectory=tmp

文件节为：

"file:test/data?noop=true&fileName=fileName.csv"

有人知道我做错了什么吗？

Answer 1

我在SFTP（骆驼2.25.0）中也遇到了同样的问题。然而，在将路由拆分为两个不同的路由（如其他人所建议的）之前，我使用了下面的url

sftp：//：22/？用户名=随机

使用下面的路线定义，

from("sftp url").split().tokenize("\n", 10, true).streaming().to("log:out")

由于此路由还将远程文件下载到本地（与2路由选项相同），然后使用正常流处理本地文件（作为Sinsanator，提到它与文件完美配合），因此内存占用在下载时成为真正的锯齿（高达100MB），然后它在处理时使用高达150MB，但又大致是锯齿性质。

这种方法的一个优点（在我看来）是，我们可以根据实际的处理完成情况来处理与完成相关的任务（例如，将远程文件移动到其他目录中）（如果我们中断路由，这是不可能自动完成的）。此外，由于下载由Camel管理，本地文件在处理完成后会自动删除。

Answer 2

做一个中间路线来解决问题。

    <route id="StagingFtpFileCopy">
        <from uri="ftp://{{uriFtpPath}}"/>
        <to uri="file://data/staging"/>
    </route>