当前位置: 首页 > 知识库问答 >
问题:

Spring集成读取许多文件

姚建树
2023-03-14

我们需要解析大量传入文件(到一个目录中),并对其进行处理,然后将结果放入每个文件的AWS动画中。

文件的频率为每天60000次,文件每15秒到达一次。每个文件可能包含大约1000个条目。

>

  • spring集成能否处理此负载?

    处理此类卷会有任何问题吗?

    当文件进入入站通道适配器时,我们可以为每个文件执行服务激活器吗?

    我认为我们需要在poller的频道上使用任务执行器?有什么例子吗?

    任务执行者是否会以多线程方式调用服务激活器?

    任何指针都会很有帮助。链接到任何代码示例都会很好。

  • 共有1个答案

    戴建义
    2023-03-14

    这不是一个人在这里提出的问题,它太宽泛,单个线程中的问题太多。我想即使我回答了所有的问题,你也会问得更多,所以这对Q不好

    是的,Spring集成可以处理这个问题。您可以使用简单的FileReadingMessageSource定期轮询目录。

    每个文件(出站消息有效负载)都可以馈送到FileSplitter以逐行解析它。

    拆分器之后,您确实可以使用ExecutorChannel并行处理这些行。

    只要是线程安全的,就可以在多线程环境中调用Service Activator。

    最后,您可以使用KinesisMessageHandler将记录发送到AWS Kinesis。是的,这个也可以从不同的线程使用。

    您可以在Spring集成参考手册中找到的所有信息。一些样品也可能对您有所帮助。此外,Spring集成AWS扩展也为您提供了支持。

     类似资料:
    • 我正在尝试使用spring集成逐行读取远程文件。使用这里找到的spring文档,我已经设置了我的项目来轮询文件,并在找到文件时通过sftp传输它。我一直在思考如何一行一行地读取文件内容。 这是我的入站通道适配器设置,当前用于拉入文件。 编辑:为了澄清,我想一次从远程文件中检索一行,然后处理该行的内容,然后检索下一行。类似于为本地文件创建java.io.inputstream并逐行读取。 非常感谢您

    • 我目前正在使用Spring集成实现一些导入/导出机制,总的来说进展很顺利,但在功能方面似乎存在差距,我不了解: 有Spring集成文件轮询目录,写入文件,...我可以用它来轮询一个目录,并获得一个

    • 我想配置一个带有JavaDSL的网关,以递归方式从FTP服务器读取所有文件,因为它们位于不同的文件夹中。 我怎么做?请给我一个特别的代码示例

    • 我有一种情况,我需要使用Mulesoft读取附加在记录中的文件(XLS)。我必须应用一些验证,比如文件不应该有超过10列,若并没有,它会通过错误消息返回给用户。 我的问题是如何使用Mulesoft读取excel文件。由于我们有这么多附加文件的记录,我需要创建一个设置,以便Mulesoft可以动态读取每个记录的文件。 请帮忙。 你好,Pankaj

    • 目前,我正在开发一个Spring集成应用程序,该应用程序具有以下场景。 有一个转换器可以将传入的消息转换为特定的对象类型 转换完成后,我们需要将其写入日志文件和数据库表,然后最终发送到JMS出站适配器。 null

    • 我想把文件从远程服务器拉到我的本地服务器。我正在使用Spring Integration SFTP来拉文件。我有以下配置: 我不想在成功拉取后从remotedir中删除文件。这里发生的事情是每30秒,从remotedir的文件就会被拉到我的本地文件。我希望spring batch程序在第一次之后停止,不要再次拉出相同的文件。我怎样才能做到这一点?