当使用ES6的Promise.all（）时，限制并发的最佳方法是什么？

Question

我有一些代码在一个从数据库中查询出来的列表上进行迭代，并对该列表中的每个元素发出HTTP请求。这个列表有时可能是一个相当大的数字（以千为单位），我希望确保我没有用数千个并发HTTP请求访问web服务器。

这段代码的缩写版本目前看起来像这样...

function getCounts() {
  return users.map(user => {
    return new Promise(resolve => {
      remoteServer.getCount(user) // makes an HTTP request
      .then(() => {
        /* snip */
        resolve();
      });
    });
  });
}

Promise.all(getCounts()).then(() => { /* snip */});

此代码正在节点4.3上运行。2.重申，可以promise。所有的都必须进行管理，以便在任何给定的时间内只进行一定数量的promise？

Answer 1

使用数组。原型拼接

while (funcs.length) {
  // 100 at a time
  await Promise.all( funcs.splice(0, 100).map(f => f()) )
}

Answer 2

请注意，Promise.all（）不会触发promise开始工作，而创建promise本身会触发。

考虑到这一点，一个解决方案是在promise得到解决时检查是否应该开始新的promise，或者您是否已经达到了极限。

然而，这里真的没有必要重新发明轮子。为此可以使用的一个库是es6-promise池。从他们的例子来看：

// On the Web, leave out this line and use the script tag above instead. 
var PromisePool = require('es6-promise-pool')

var promiseProducer = function () {
  // Your code goes here. 
  // If there is work left to be done, return the next work item as a promise. 
  // Otherwise, return null to indicate that all promises have been created. 
  // Scroll down for an example. 
}

// The number of promises to process simultaneously. 
var concurrency = 3

// Create a pool. 
var pool = new PromisePool(promiseProducer, concurrency)

// Start the pool. 
var poolPromise = pool.start()

// Wait for the pool to settle. 
poolPromise.then(function () {
  console.log('All promises fulfilled')
}, function (error) {
  console.log('Some promise rejected: ' + error.message)
})

Answer 3

P-极限

我已经比较了promise并发限制与自定义脚本、蓝鸟、es6-promise池和p-限制。我相信p-Limited有最简单、最精简的实现来满足这种需求。看他们的留档。

要求

要与异步兼容，例如

• ECMAScript 2017（版本8）
• 节点版本

我的例子

在这个例子中，我们需要为数组中的每个URL运行一个函数（比如，可能是一个应用编程接口请求）。在这里，这被称为finchData（）。如果我们有成千上万个项目要处理，那么并发对于节省CPU和内存资源肯定是有用的。

const pLimit = require('p-limit');

// Example Concurrency of 3 promise at once
const limit = pLimit(3);

let urls = [
    "http://www.exampleone.com/",
    "http://www.exampletwo.com/",
    "http://www.examplethree.com/",
    "http://www.examplefour.com/",
]

// Create an array of our promises using map (fetchData() returns a promise)
let promises = urls.map(url => {

    // wrap the function we are calling in the limit function we defined above
    return limit(() => fetchData(url));
});

(async () => {
    // Only three promises are run at once (as defined above)
    const result = await Promise.all(promises);
    console.log(result);
})();

控制台日志结果是已解析promise响应数据的数组。