spring boot和长期运行任务

Question

在我的spring boot应用程序中，我必须实现一个导入服务。用户可以提交一组JSON文件，应用程序将尝试从这些文件中导入数据。根据JSON文件中的数据量，单个导入过程可能需要1或2个小时。

我不想在导入过程中阻止用户，因此我计划接受导入任务，并通知用户此数据已排定处理时间。我将把数据放入队列，另一端的空闲队列使用者将启动导入过程。此外，我需要有一个可能性来监视队列中的一个作业，如果需要的话终止它们。

现在，我正在考虑使用嵌入式Apache ActiveMQ来引入消息生产者和消费者逻辑，但在此之前，我想问一下--从体系结构的角度--它是描述的任务的好选择，还是可以用更合适的工具来实现。比如普通spring@async等等？

Answer 1

可以像这样用Camel并发地处理文件

from("file://incoming?maxMessagesPerPoll=1&idempotent=true&moveFailed=failed&move=processed&readLock=none").threads(5).process()

查看http://camel.apache.org/file2.html

但我认为更适合您的需求的是使用独立的ActiveMQ、将文件移动到ActiveMQ的独立服务和能够独立地杀死或重新启动每个文件的独立消费者。

最好像您说的那样使用ActiveMQ并且您可以轻松地创建一个服务来将消息移动到带有Camel的队列中，如下所示：

        CamelContext context = new DefaultCamelContext();
        ConnectionFactory connectionFactory = new ActiveMQConnectionFactory("vm://localhost?broker.persistent=true");
        context.addComponent("test-jms", JmsComponent.jmsComponentAutoAcknowledge(connectionFactory));
        context.addRoutes(new RouteBuilder() {
            public void configure() {
            // convertBodyTo to use TextMessage or maybe send them as file to the Queue            from("file://testFolderPath").convertBodyTo(String.class).to("test-jms:queue:test.queue");
            }
        });
        context.start();

这里有一些例子

http://www.programcreek.com/java-api-examples/index.php？api=org.apache.camel.component.jms.JMSComponent

https://skills421.wordpress.com/2014/02/08/sending-local-files-to-a-jms-queue/

https://github.com/apache/camel/blob/master/examples/camel-example-jms-file/src/main/Java/org/apache/camel/example/cameljmstofileexample.Java

https://github.com/apache/camel/tree/master/examples

要进行监视和管理，您可以将jmx与VisualVM或Hawtio一起使用http://hawt.io/getstarted/index.html

http://camel.apache.org/camel-jmx.html

为了消费，您可以使用DefaultMessageListenerContainer和队列上的并发消费者，为此，您需要更改DefaultMessageListenerContainer的ConnectionFactory（多线程JMS客户端ActiveMQ）上的prefetchPolicy