监控Netty事件循环队列的大小

Question

我们已经实现了对Netty事件循环队列的监控，以便了解我们的一些Netty模块的问题。监视器使用io.netty.util.concurrent.单线线程事件执行器#挂起任务方法，该方法适用于大多数模块，但对于每秒处理几千个HTTP请求的模块，它似乎被挂起，或者非常慢。我现在意识到文档严格指定这可能是一个问题，我觉得很差劲…所以我正在寻找另一种方法来实现这个监视器。

您可以在此处看到旧代码：https://github.com/outbrain/ob1k/blob/6364187b30cab5b79d64835131d9168c754f3c09/ob1k-core/src/main/java/com/outbrain/ob1k/common/metrics/NettyQueuesGaugeBuilder.java

  public static void registerQueueGauges(final MetricFactory factory, final EventLoopGroup elg, final String componentName) {

    int index = 0;
    for (final EventExecutor eventExecutor : elg) {
      if (eventExecutor instanceof SingleThreadEventExecutor) {
        final SingleThreadEventExecutor singleExecutor = (SingleThreadEventExecutor) eventExecutor;
        factory.registerGauge("EventLoopGroup-" + componentName, "EventLoop-" + index, new Gauge<Integer>() {
          @Override
          public Integer getValue() {
            return singleExecutor.pendingTasks();
          }
        });

        index++;
      }
    }
  }

我的问题是，有没有更好的方法来监控队列大小？

这可能是一个非常有用的度量，因为它可以用于了解延迟，并且在某些情况下也可以用于应用背压。

Answer 1

现在，在2021年，Netty在内部使用JCTools队列并且< code>pendingTasks()执行非常快(几乎总是常数时间)，所以即使than javadoc仍然声明这个操作很慢，您也可以毫无顾虑地使用它。以前的问题是对队列中的元素进行计数是一个线性操作，但是在迁移到JCTools库之后，这个问题就消失了。

Answer 2

您可能需要将更改跟踪为从单线程事件执行器实例中添加和删除的任务。

为此，您可以创建一个包装和/或扩展单线程事件执行器的类。然后你会有一个java.util.concurrent.atomic.原子整数器，每次添加新任务时，你会调用增量和获取（），每次删除/完成一个任务时，你会调用decrementAndget（）。

然后，AtomicInteger会给出当前未完成任务的数量。您可能会重写< code>pendingTasks()来使用该值(不过要小心——我不是100%肯定不会有副作用)。

这会给正在执行的每个任务增加一点开销，但会使检索未决任务的数量接近恒定速度。

当然，这样做的缺点是它比你目前所做的更具侵入性，因为你需要配置你的应用程序以使用不同的事件执行器。

铌。这只是关于如何解决此问题的建议 - 我没有专门对 Netty 执行此操作。虽然我过去用其他代码做过这种事情。