如何使用Spring批处理不同格式的文件？

Question

我的要求是为不同格式的文件（PSV和CSV）轮询两个不同的目录，并使用Spring批处理它。

我使用入站通道适配器轮询目录。但是，我无法找到一种方法来根据文件类型调用相应的阅读器及其标记器和字段映射器。

例如，如果它是psv-调用PSV阅读器，如果它是csv-调用CSVReader，CSV线路映射器

任何帮助都将不胜感激。

谢谢

Answer 1

另一种方法是创建类似于ClassifierCompositeItemProcessor或ClassifierCompositeItemWriter的类。也就是说，它需要一个分类器、一个委托的项目读取器列表，并根据分类器的结果选择正确的项目读取器。

问题是，您没有要分类的输入，因为读取尚未完成。这就是为什么我考虑使用resource属性作为分类的元素。结果如下：

public class ResourceClassifierCompositeItemReader<T> implements ItemReader<T> {

    private Classifier<String, ItemReader<? extends T>> classifier = new ClassifierSupport<String, ItemReader<? extends T>> (null);
    private Resource resource;

    public void setClassifier(Classifier<String, ItemReader<? extends T>> classifier) {
        this.classifier = classifier;
    }

    @Override
    public T read() throws Exception, UnexpectedInputException, ParseException {
        return readItem(classifier.classify(resource.getFilename()));
    }

    private T readItem(ItemReader<? extends T> reader) throws Exception {
        return reader.read();
    }

    public void setResource(Resource resource) {
        this.resource = resource;
    }

}

现在来看看如何使用它。首先，您需要一个MultiResourceItemReader来同时读取. PSV和. CSV。然后您必须将读取委托给Resource分类器CompositeItemReader。您必须添加一个BackToBackPatternfier来分类字符串resource.getFilename（）（即文件名）并相应地调用ItemReader（通过MatcherMap）。为此，您需要编写自己的RouterServer ate（获取文件名，拆分它以获取扩展名，并将其作为要匹配的字符串返回）。

Answer 2

谢谢你的建议。

我采用了不同的方法。我已将项目阅读器和写入器设置为作业参数。因此，根据文件类型，将调用相应的项目阅读器和写入器

<chunk reader= "#{JobParameter[bean.reader]}" writer="#{JobParameter[bean.writer]}"/>

谢谢

Answer 3

您可以创建自己的读取器：

public class CustomFilesReader implements InitializingBean{

    private List<File> yourFiles= null;

    public File read() {
        if ((yourFiles!= null) && (yourFiles.size() != 0)) {  
          return yourFiles.remove(0);
        }
        return null;
    }

    //Reading Items from your dir
    private void loadItems() {
        this.yourFiles= new ArrayList<File>();
       // populate the items
     }


    @Override
    public void afterPropertiesSet() throws Exception {
        loadItems();
    }
}

注册bean：

<bean id="customFilesReader " class="mypackage.CustomFilesReader "/>


<bean id="myReader"
    class="org.springframework.batch.item.adapter.ItemReaderAdapter">
    <property name="targetObject" ref="customFilesReader " />
    <property name="targetMethod" value="read" />
</bean>

对于自定义项目处理器和自定义项目编写器，也可以执行相同的操作。