Akka HTTP和长时间运行请求

Question

我们有一个应用程序html" target="_blank">接口实现在裸骨Scala Akka HTTP中--一对路由前面的大量计算（CPU和内存密集）。没有集群-所有运行在一个强壮的机器上。计算量相当大--一个独立请求可能需要60多秒才能完成。我们并不那么在意速度。没有阻塞IO，只是大量的CPU处理。

当我开始对它进行性能测试时，出现了一个有趣的模式：假设请求A1、A2、...、A10通过。它们会大量使用资源，结果Akka会为溢出的请求A5-A10返回HTTP503。问题是，即使没有人来取结果，计算仍然在运行。

从那里我们看到了一个级联的性能崩溃：请求A11-A20到达仍在处理请求A5-A10的服务器。显然，这些新的请求也有可能超负荷--考虑到服务器更忙，超负荷的几率甚至更高。因此，当Akka触发超时时，它们中的一些将会运行，这使得服务器变得更加繁忙和缓慢，然后新的一批请求通过...因此，在运行系统一段时间后，您会看到几乎所有的请求在某个点之后都开始以超时方式失败。并且在停止加载之后,您可以在日志中看到一些仍在处理的请求。

我尝试在单独的ExecutionContext和系统调度程序中运行计算，试图使其完全异步（通过将来的组合），但结果仍然是一样的。延迟的作业使服务器非常繁忙，最终几乎每个请求都失败。

在https://github.com/zcox/spray-blocking-test中描述了一个类似的情况，但重点转移到了那里-/ping对我们来说并不重要，因为它对处理长时间运行请求的endpoint承担或多或少的稳定责任。

问题是：如何设计应用程序以更好地中断挂起请求？我可以容忍一些很小百分比的失败请求在重载下，但磨整个系统停顿数秒后是不可接受的。

Answer 1

Akka HTTP不会自动终止对超时请求的处理。通常，需要做的额外记账是不会有回报的，所以默认情况下是不开启的。我认为这是一个疏忽，TBH，我自己也遇到过类似的Akka HTTP问题。

我认为您需要在请求超时时手动中止处理，否则服务器在超载时将无法恢复，正如您所看到的。

没有一个标准的机制可以用来实现这一点（请参见“如何在Scala中取消Future？”）。如果线程在没有I/O的情况下执行CPU工作，那么thread.interrupt()将不会有用。相反，您应该创建一个deadly或promise或类似的文件，以显示请求是否仍处于打开状态，并在计算过程中定期检查超时情况:deadly或promise

// in the HTTP server class:
val responseTimeout: Duration = 30.seconds

val routes = 
  path("slowComputation") {
    complete {
      val responseTimeoutDeadline: Deadline = responseTimeout.fromNow
      computeSlowResult(responseTimeoutDeadline)
    }
  }

// in the processing code:
def computeSlowResult(responseDeadline: Deadline): Future[HttpResponse] = Future {
  val gatherInputs: List[_] = ???
  gatherInputs.fold(0) { (acc, next) =>

    // check if the response has timed out
    if (responseDeadline.isOverdue())
      throw new TimeoutException()

    acc + next // proceed with the calculation a little
  }
}

（检查promise是否已完成要比检查deadly是否已过期便宜得多。我已经将后者的代码放在上面，因为它更容易编写。）