在node.js中处理大型json数组

Question

我使用axios从API获取数据，然后使用节点中的数据。js应用程序。数据是由300个对象组成的数组，如下所示：

{
  'location': 'us',
  'date': '156565665',
  'month': '5.1',
  'day': '6',
  'type': 'default',
  'count': '7',
  'title': 'good',
  'filter': 'no',
  'duration': 'short',
  'options': 'no',
}

获取此对象数组后，我需要转换每个对象：用新的键替换其键，并将一些值转换为适当的数据类型（字符串到浮点）：

{
  'loc': 'us',
  'date_new': parseInt('156565665'),
  'month': parseFloat('5.1'),
  'day': parseInt('6'),
  'type': 'default',
  'count': parseInt('7'),
  'title': 'good',
  'filter': 'no',
  'duration': 'short',
  'options': 'no',
}

现在我只使用For循环，并在每次迭代中转换每个对象的键和值。但是像这样的物体将会有成千上万。它将是处理这些数据的工人。在节点中处理它们的最佳方式是什么。js？

我将使用一些现成的队列，如bee queue或resque，但即使在这种情况下，最好让代码“node.js way”，这样对对象数组的处理不会减慢节点循环的速度。也许可以使用将每个对象推送到promise数组中，并将其置于promise中。all（）（但Promise中会有300个promise。all（））？在节点中进行这样的困难计算的最佳方法是什么。js？

Answer 1

但是会有成千上万个这样的对象。它将是处理这些数据的工作者。在node.js?中处理它们的最佳方法是什么

我会推荐

• 使用JSONStream或此处的任何其他好建议解析JSON流

实例

var request = require('request')
  , JSONStream = require('JSONStream')
  , es = require('event-stream')

request({url: 'URL'})
  .pipe(JSONStream.parse('rows.*'))
  .pipe(es.mapSync(function (data) {
    console.error(data)
    return data
  }))

>

从数据库中逐个单独提取进行处理。