我可以用http工具包和核心制作一个完全无阻塞的后端应用程序吗。异步的？

Question

我想知道是否有可能用http工具包组装一个完全无阻塞的Clojure后端web应用程序。

（实际上，我认为任何与环兼容的http服务器都可以；我之所以提到http工具包，是因为它声称有一个事件驱动的非阻塞模型）。

这个问题是我对非阻塞/异步/事件驱动系统本质的一些误解的症状。如果你和我在同一个地方，这里有一些澄清。

只有当IO的所有（比如说大部分）都以非阻塞的方式从头开始处理时，才能使事件驱动系统具有非阻塞（如Node.js）的性能优势。这意味着您的所有DB驱动程序、HTTP服务器和客户端、Web服务等首先必须提供异步接口。特别地：

• 如果您的数据库驱动程序提供了同步接口，则无法使其非阻塞。（你的线程被阻塞了，没有办法找回它）。如果你想要无阻塞，你需要使用其他东西。
• 像core.async这样的高级协调实用程序不能使系统非阻塞。它们可以帮助您管理非阻塞代码，但不要启用它。
• 如果您的IO驱动程序是同步的，您可以使用core.async来获得异步的设计优势，但您不会获得异步的性能优势。您的线程仍然会浪费时间等待每个响应。

现在，具体来说：

• http工具包作为http服务器提供了一个非阻塞的异步接口。见下文
• 然而，许多环中间件，因为它们本质上是同步的，将与这种方法不兼容。基本上，任何更新返回响应的环中间件都不可用

如果我做对了（我不是专家，所以请告诉我我是否在错误的假设下工作），这种web应用程序的非阻塞模型的原则如下：

1. 让几个超快的操作系统线程处理所有CPU密集型计算；这些绝对不能等待。
2. 有很多弱线程处理IO（数据库调用、Web服务调用、Hibernate等）；这些主要是等待。
3. 这是有益的，因为用于处理请求的等待时间通常比计算时间高2到5个数量级。

从我所看到的来看，这个模型在播放框架（Scala）和Node.js（JavaScript）平台上默认支持，并使用基于promise的实用程序以编程方式管理异步。

让我们尝试在基于环的clojure应用程序中使用Compojure路由实现这一点。我有一个路由，它通过调用my handle函数来构造响应：

(defroutes my-routes
  (GET "/my/url" req (my-handle req))
  )
(def my-app (noir.util.middleware/app-handler [my-routes]))
(defn start-my-server! [] 
  (http-kit/run-server my-app))

Clojure应用程序中管理异步的普遍接受的方式似乎是基于CSP的，并使用核心。异步库，我完全可以使用它。因此，如果我想接受上面列出的非阻塞原则，我会通过以下方式实现my handle：

(require '[clojure.core.async :as a])

(defn my-handle [req]
  (a/<!!
    (a/go ; `go` makes channels calls asynchronous, so I'm not really waiting here
     (let [my-db-resource (a/thread (fetch-my-db-resource)) ; `thread` will delegate the waiting to "weaker" threads
           my-web-resource (a/thread (fetch-my-web-resource))]
       (construct-my-response (a/<! my-db-resource)
                              (a/<! my-web-resource)))
     )))

CPU密集型的构建我的响应任务在go块中执行，而等待外部资源则在线程块中完成，正如Tim Baldridge在本core视频中所建议的那样。异步（38'55''）

但这不足以使我的应用程序不阻塞。无论哪个线程通过我的路由，并将调用my-handly函数，都将等待构建响应，对吗？

让这个HTTP处理也非阻塞会有好处吗（我相信），如果是的话，我如何实现它？

编辑

正如codemomentum所指出的，对请求的非阻塞处理缺少的成分是使用超文本传输协议-kit通道。结合core.async，上面的代码会变成这样：

(defn my-handle! [req]
  (http-kit/with-channel req channel
    (a/go 
     (let [my-db-resource (a/thread (fetch-my-db-resource))
           my-web-resource (a/thread (fetch-my-web-resource))
           response (construct-my-response (a/<! my-db-resource)
                                           (a/<! my-web-resource))]
       (send! channel response)
       (close channel))
     )))

这确实让您接受了异步模型。

问题是它与环形中间件非常不兼容。环形中间件使用函数调用来获取响应，这使得响应基本上是同步的。更一般地说，事件驱动处理似乎与纯函数式编程接口不兼容，因为触发事件意味着有副作用。

我很高兴知道是否有一个Clojure库来解决这个问题。

Answer 1

使用异步方法，您可以在数据准备就绪时将数据发送到客户机，而不是在整个线程准备过程中阻塞它。

对于超文本传输协议-kit，您应该使用留档中描述的异步处理程序。以适当的方式将请求委托给异步处理程序后，您可以使用core.async或其他方法实现它。

异步处理程序留档在这里：http://http-kit.org/server.html#channel