如何优雅地处理数以千计的石英失火？

Question

按需重新处理大量数据。

在这两种情况下，大约有10，000个石英工作岗位产生并运行。在nightly中，我们有一个quartzcron作业，该作业产生10,000个作业，每个作业单独处理数据。

我们的问题是，我们正在运行大约30个线程，所以quartz作业自然会失效，并继续失效，直到所有的事情都处理完毕。加工过程可能需要6个小时。这10,000个作业中的每一个都涉及一个特定的域对象，可以并行处理并且完全独立。10,000个工作中的每一个都需要不同的时间（从半秒到一分钟）。

关于或体系结构的说明：我们正在运行两个集群，每个集群有三个节点。quartz的版本有点旧(2.0.1)，集群是在quartz.properties文件中启用的。

Answer 1

在这两种情况下，产生了大约10，000个石英工作岗位

不需要产生新的石英工作。Quartz是一个调度程序，而不是任务管理器。

在每晚的重新处理中，您只需要一个quartzcron作业就可以调用负责管理和运行10,000个任务的服务。在“按需”场景中，根本不应该涉及石英。只需直接调用该服务即可。

Callable<String> task = new Echo(input); // Echo is just some Callable
HazelcastInstance hz = Hazelcast.newHazelcastInstance();
IExecutorService executorService = hz.getExecutorService("default");
Future<String> future = executorService.submitToMember(task, member);
String echoResult = future.get();