解决LMAX中断器模式中的慢速使用者（eventProcessor）问题

Question

在使用disruptor时，可能会有一个（多个）消费者落后，并且由于这个缓慢的消费者，整个应用程序都会受到影响。

请记住，每个生产者（发布者）和消费者（EventProcessor）都在一个线程上运行，如何解决消费者速度慢的问题？

我们可以在单个消费者上使用多个线程吗？如果没有，有什么更好的选择？

Answer 1

使用一组相同的EventHandler。为了避免超过1个eventHandler作用于单个事件，我使用以下方法。

创建一个大小为系统中核数的线程池

Executor executor = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors()); // a thread pool to which we can assign tasks

然后创建处理程序数组

 HttpEventHandler [] handlers = new HttpEventHandler[Runtime.getRuntime().availableProcessors()];

for(int i = 0; i<Runtime.getRuntime().availableProcessors();i++){
    handlers[i] = new HttpEventHandler(i);
}

disruptor.handleEventsWith(handlers);

在EventHandler中

public void onEvent(HttpEvent event, long sequence, boolean endOfBatch) throws InterruptedException
{
    if( sequence % Runtime.getRuntime().availableProcessors()==id){

        System.out.println("-----On event Triggered on thread "+Thread.currentThread().getName()+" on sequence "+sequence+" -----");
        //your event handler logic
}

Answer 2

尝试将慢速部分与其他线程分离（I/O，而不是O（1）或O（log）计算等），或在耗电元件过载时施加某种背压（通过让生产商或临时停车，用503或429状态代码重放等）：http://mechanical-sympathy.blogspot.com/2012/05/apply-back-pressure-when-overloaded.html

Answer 3

一般来说，使用WorkerPool允许多个池中的工作线程在单个使用者上工作，如果您有独立的任务并且持续时间可能可变（例如：一些短任务，一些长任务），这是很好的。

另一种选择是让多个独立的worker在事件上并行处理，但每个worker只处理模N worker（例如2个线程，一个线程处理奇数，一个线程处理偶数事件id）。如果您有持续时间一致的处理任务，这将非常有效，并允许批处理也非常有效。

另一件需要考虑的事情是，消费者可以进行“批处理”，这在审计中尤其有用。如果您的消费者有10个事件等待，而不是将10个事件单独写入审核日志，那么您可以收集所有10个事件并同时写入它们。根据我的经验，这不仅仅包括运行多个线程的需要。