Qpromise节点的并发限制

Question

有没有使用Qpromise库限制promise并发的方法？

这个问题有点与如何限制Qpromise并发有关？

但问题是我正试图这样做：

for (var i = 0; i <= 1000; i++) {
  return Q.all([ task1(i), task2(i) ]); // <-- limit this to 2 at a time.
}

真正的用例是：

1. 从DB获取帖子
2. 循环DB中的每个帖子，如posts.for每个（函数（post）{}
3. 对于每个帖子做task1，task2，task3（检索社交计数器，检索评论计数等）
4. 在DB中保存新的文章数据。

但问题是node同时执行所有帖子的所有任务，比如同时向facebook询问500篇帖子的“喜欢次数”。

如何限制Q.all（）一次只能有两篇文章执行任务？或者，还有什么其他可能的解决方案可以应用于此？

注意：大多数任务（如果不是全部）依赖于请求库

Answer 1

下面是我用来限制qpromise的代码。

我只是把它从一个我需要它的项目中删掉了。如果有更多的人感兴趣，我可以把它分成一个模块或别的什么。

Answer 2

几天前我问了一个非常相似的问题： Node.js/Express和并行队列

我找到的解决方案（见我自己的答案）是使用曹兰的异步。它允许您创建“操作队列”，并且可以限制并发运行的数量：请参阅“队列”方法。

在您的例子中，节点的主循环将从Q中提取元素，并在队列中为每个元素创建一个任务。您还可以限制这一点（因此基本上不会在Q之外重新创建队列），例如，仅当执行最后一个元素时，才向队列添加N个新元素（“queue”方法的“empty”回调）。

Answer 3

多亏了Dan，他的回答和他帮助我将它与我的代码集成，可以使用他的要点和这样的片段来完成：

var qlimit = require('../libs/qlimit');

var test = function(id) {
  console.log('Running ' + id);
  return Q.nfcall(request, 'some dummy url which takes some time to process, for example a php file with sleep(5)').spread(function(response, body) {
    console.log('Response ' + id);
    return body;
  });
}

test = qlimit.limitConcurrency(test, 1);

var data = [0, 1, 2];

data.forEach(function(id) {
  console.log('Starting item ' + id);
  Q.all([ test(id) ]);
});

通过这种方式，您可以得到如下结果：

• 开始项目0
• 开始项目1
• 开始项目2
• 运行0
• 响应0
• 跑步1
• 回应1
• 跑步2
• 回应2

这显然是一次一个请求。

我在实现中遗漏的一点是，在启动循环之前，需要使用limitConcurrency重新声明函数，而不是在循环内部。