使用Spring集成使用Spring Boot项目从SFTP服务器下载符合条件的文件

Question

我当前的项目是基于Spring集成的。我正在使用spring Boot开发这个项目。

我的目标是使用Spring Integr来完成以下任务。

>

连接到SFTP

检查是否在本地特定文件夹中创建了目录

检查特定于（CSV的文件的合格文件扩展名

将所有内容从SFTP远程目录下载到本地目录

逐行读取本地目录中的文件，并提取特定的列信息。

你能给我一些建议吗？

我怎样才能得到换乘开始时间？注意：我必须将此需求开发为rest api。请提供一些指导，我如何使用spring集成来实现这一点？

谢谢。：）

public class SftpConfig {

    @Value("${sftp.host}")
    private String sftpHost;

    @Value("${sftp.port:22}")
    private int sftpPort;

    @Value("${sftp.user}")
    private String sftpUser;

    @Value("${sftp.password:#{null}}")
    private String sftpPasword;

    @Value("${sftp.remote.directory:/}")
    private String sftpRemoteDirectory;

    @Value("${sftp.privateKey:#{null}}")
    private Resource sftpPrivateKey;

    @Value("${sftp.privateKeyPassPhrase:}")
    private String privateKeyPassPhrase;

    @Value("${sftp.remote.directory.download.filter:*.*}")
    private String sftpRemoteDirectoryDownloadFilter;

    @Value("${sftp.remote.directory.download:/}")
    private String sftpRemoteDirectoryDownload;

    @Value("${sftp.local.directory.download:${java.io.tmpdir}/localDownload}")
    private String sftpLocalDirectoryDownload;

    /*
     * The SftpSessionFactory creates the sftp sessions. This is where you define
     * the host , user and key information for your sftp server.
     */

    // Creating session for Remote Destination SFTP server Folder

    @Bean
    public SessionFactory<ChannelSftp.LsEntry> sftpSessionFactory() {
        DefaultSftpSessionFactory factory = new DefaultSftpSessionFactory(true);
        factory.setHost(sftpHost);
        factory.setPort(sftpPort);
        factory.setUser(sftpUser);
        if (sftpPrivateKey != null) {
            factory.setPrivateKey(sftpPrivateKey);
            factory.setPrivateKeyPassphrase(privateKeyPassPhrase);
        } else {
            factory.setPassword("sftpPassword");
        }
        factory.setAllowUnknownKeys(true);
        return new CachingSessionFactory<ChannelSftp.LsEntry>(factory);
    }
    
    /*
     * The SftpInboundFileSynchronizer uses the session factory that we defined above. 
     * Here we set information about the remote directory to fetch files from.
     * We could also set filters here to control which files get downloaded
     */
    
    @Bean
    public SftpInboundFileSynchronizer SftpInboundFileSynchronizer () {
        SftpInboundFileSynchronizer synchronizer = new SftpInboundFileSynchronizer();       
        return null;
        
    }
    

Answer 1

如果查看SftpStreamingMessageSource：https://docs.spring.io/spring-integration/docs/current/reference/html/sftp.html#sftp-流式处理，再加上使用文件拆分器逐行读取该文件（也支持“first like as header”），您无需担心将文件传输到本地目录。您将按需使用远程内容完成所有操作。

另一方面，由于您谈到REST API，您可能会有一些RestController或Spring集成HTTP入站网关：https://docs.spring.io/spring-integration/docs/current/reference/html/http.html#http-入站时，您需要考虑使用带有MGET命令的SftpOutboundGateway：https://docs.spring.io/spring-integration/docs/current/reference/html/sftp.html#sftp-出站网关。

如果您仍然需要跟踪每个文件的下载时间，您需要考虑使用该网关两次：使用LIST命令和NAME_ONLY，第二次使用GET命令。此时，您可以为第二个网关的输入和输出通道添加ChannelInterceptor，因此您将有一个文件名信息来关联和捕获此网关前后的开始和停止时间。