如何使用Spring集成处理大型文件

Question

我正在处理非常大的文件，并使用Spring集成来处理它们。我想知道使用Spring集成和提供的DSL处理这些问题的最佳和最有效的方法是什么。我有一个测试CSV文件，它有大约30K条记录，我正在使用filespliter组件将每一行读入内存，然后根据分隔符再次拆分，以获得我需要的列。

下面的代码段。

IntegrationFlows
            .from(Files.inboundAdapter(new File(inputFilePath))
                    .filter(getFileFilters())
                    .autoCreateDirectory(true) ,
                    c -> c.poller(Pollers.fixedRate(1000))
                    
                    )
            
            .split(Files.splitter())
            .channel(c -> c.executor(Executors.newWorkStealingPool()))
            .handle((p, h) -> new MyColumnSelector().getCol((String) p, 1))
            .split(s -> s.applySequence(true).delimiters(","))
            .channel(c -> c.executor(Executors.newWorkStealingPool()))
            .get()

Answer 1

问题是IDE和控制台日志开销减慢了速度。我使用相同的文件测试了它，没有任何IDE或任何额外的日志记录，它的处理速度显着加快。