解析Nodejs中的大型JSON文件并独立处理每个对象

Question

我需要在Nodejs中读取一个大的JSON文件（大约630MB）并将每个对象插入MongoDB。

我在这里看到了答案:在Nodejs中解析大型JSON文件。

然而，答案是逐行处理JSON文件，而不是逐个对象处理。因此，我仍然不知道如何从这个文件中获取对象并操作它。

我的JSON文件中有大约100000个这样的对象。

数据格式：

[
  {
    "id": "0000000",
    "name": "Donna Blak",
    "livingSuburb": "Tingalpa",
    "age": 53,
    "nearestHospital": "Royal Children's Hospital",
    "treatments": {
        "19890803": {
            "medicine": "Stomach flu B",
            "disease": "Stomach flu"
        },
        "19740112": {
            "medicine": "Progeria C",
            "disease": "Progeria"
        },
        "19830206": {
            "medicine": "Poliomyelitis B",
            "disease": "Poliomyelitis"
        }
    },
    "class": "patient"
  },
 ...
]

干杯

亚历克斯

Answer 1

有一个很好的名为“stream-json”的模块，它完全符合您的要求。

它可以解析远远超过可用内存的JSON文件。

和

StreamArray处理一个常见的用例：一个巨大的相对较小的对象数组，类似于Django生成的数据库转储。它单独流式传输数组组件，负责自动组装它们。

这是一个非常基本的例子：

const StreamArray = require('stream-json/streamers/StreamArray');
const path = require('path');
const fs = require('fs');

const jsonStream = StreamArray.withParser();

//You'll get json objects here
//Key is an array-index here
jsonStream.on('data', ({key, value}) => {
    console.log(key, value);
});

jsonStream.on('end', () => {
    console.log('All done');
});

const filename = path.join(__dirname, 'sample.json');
fs.createReadStream(filename).pipe(jsonStream.input);