Clojure http kit get请求在多个异步调用上卡住

Question

我创建了一个小示例来突出问题：

(->> (range 0 4)
     (mapv (fn [i]
             (http/get "http://http-kit.org/"
                       (fn [res]
                         (info "first callback")
                         (let [res2 @(http/get "http://http-kit.org/")]
                           (info "second callback ")))))))

打印4s第一次回拨消息时卡住了。

如果我将范围更改为0。。3它可以工作，同步版本也可以工作。

更新：

（info）是一个taoensso.timbre日志库

Answer 1

这看起来像是由于http kit客户端线程池在回调函数完成之前不会释放线程而导致的问题。因此，它最终会耗尽线程。

因此，我开始思考如何使回调函数更快，并提出了以下解决方案：

我为超文本传输协议-kit客户端创建了异步包装器函数，在回调中使用clojure.core.async/chan快速地将结果放入通道，然后等待结果并执行重回调：

(defn async-http-get
  [url opts callback]
  (let [channel (chan)]
    (http/get url opts #(go (>! channel %)))
    (go (callback (<! channel)))
    nil))

所以现在使用async-超文本传输协议-get而不是超文本传输协议/get为我解决了这个问题。

(->> (range 0 4)
     (mapv (fn [i]
             (async-http-get "http://http-kit.org/"
                       (fn [res]
                         (info "first callback")
                         (let [res2 @(http/get "http://http-kit.org/")]
                           (info "second callback ")))))))

Answer 2

我目前的假设是，通过耗尽线程池，您会陷入死锁：

1. 你创建一个线程每外部超文本传输协议/get
2. 如果您创建的请求少于线程池中的可用线程，则有空间为至少一个内部超文本传输协议/get（这将需要一个新线程）提供服务
   1. 或者如果您的第一个请求在您用尽线程池之前完成

   您可以使用peekhttp/default pool检查线程池http工具包的状态。在那里，您可以看到如下内容：

   #object[java.util.concurrent.ThreadPoolExecutor 0x5a99e5c "java.util.concurrent.ThreadPoolExecutor@5a99e5c[Running, pool size = 8, active threads = 0, queued tasks = 0, completed tasks = 24]"]
   

   当你没有陷入僵局的时候。或

   #object[java.util.concurrent.ThreadPoolExecutor 0x5a99e5c "java.util.concurrent.ThreadPoolExecutor@5a99e5c[Running, pool size = 8, active threads = 8, queued tasks = 8, completed tasks = 28]"]
   

   当你这么做的时候。

   我已经在我的机器中测试过了（显示8为（.可用性处理器（运行时/getRuntime））），我得到了上面的结果。当我运行超过8个请求时，我陷入了僵局。

   当做