Spring批处理-FlatFileReader中是否可能有一个动态列？

Question

我正在处理许多没有固定头/列的CSV文件，说我可以得到file1。包含10列和文件2的csv。csv包含50列。

我无法提前知道我将拥有的列数，我无法为每种文件类型创建特定的作业，我的输入将是一个黑框：一堆CSV，它将具有从10到无限的X列数。

当我想使用Spring Batch自动导入这些CSV时，我想知道这是否可能？我知道我必须获得固定数量的列，因为处理器以及我需要将数据序列化为POJO然后再将其发送回写入器。

我的处理器可以序列化一个数组吗？除了发送一个简单的对象之外，我可以得到一个对象数组并且在我的工作结束时我会有一个对象数组的数组吗？

你怎么认为？

谢谢

Answer 1

创建您自己的LineTokenizer实现。分隔的LineTokenizer需要预定义的列数。如果您自己创建，您可以随心所欲地动态。您可以在留档中阅读有关LineTokenizer的更多信息：http://docs.spring.io/spring-batch/apidocs/org/springframework/batch/item/file/transform/LineTokenizer.html

Answer 2

我带着同样的问题来到这个老帖子。最后，我在skippedLinesCallback的帮助下，成功地构建了一个动态列FlatFileItemReader，所以我把它放在这里：

@Bean
public FlatFileItemReader<Person> reader() {

    DefaultLineMapper<Person> lineMapper = new DefaultLineMapper<>();
    DelimitedLineTokenizer delimitedLineTokenizer = new DelimitedLineTokenizer();
    lineMapper.setLineTokenizer(delimitedLineTokenizer);
    lineMapper.setFieldSetMapper(new BeanWrapperFieldSetMapper<>() {
        {
            setTargetType(Person.class);
        }
    });

    return new FlatFileItemReaderBuilder<Person>()
            .name("personItemReader")
            .resource(new FileSystemResource(inputFile))
            .linesToSkip(1)
            .skippedLinesCallback(line -> delimitedLineTokenizer.setNames(line.split(",")))
            .lineMapper(lineMapper)
            .build();
}

在回调方法中，从标题行更新标记器的名称。您还可以在这里添加一些验证逻辑。使用此解决方案，无需编写自己的LineTokenizer实现。