使用TypeScript解析大JSON文件

Question

我想使用Typescript解析/处理一个25 MB的JSON文件，并过滤/排序对象。。我写的代码花了几分钟（有时会超时），不确定为什么会发生这种情况，或者是否有其他方法可以提高代码的效率。

注意：代码在一个小文件上工作

import fs from 'fs';
searchAccounts(): Promise<Account[]> {
       const accountSearchCriteria: AccountSearchCriteria = {
                country: 'NZ',
                mfa: 'SMS',
                name: 'TEST',
                sortField: 'dob'
        };
        const jsonPath = './src/file.json';
        const rawAccounts = fs.readFileSync(jsonPath, 'utf-8');
        let accounts: Account[] = JSON.parse(rawAccounts);
        if (accountSearchCriteria) {
            if (accountSearchCriteria.name) {
                accounts = accounts.filter(
                    account =>
                        account.firstName.toLowerCase() ===
                            accountSearchCriteria.name.toLowerCase() ||
                        account.lastName.toLowerCase() ===
                            accountSearchCriteria.name.toLowerCase()
                );
            }
            if (accountSearchCriteria.country) {
                accounts = accounts.filter(
                    account =>
                        account.country.toLowerCase() ===
                        accountSearchCriteria.country.toLowerCase()
                );
            }
            if (accountSearchCriteria.mfa) {
                accounts = accounts.filter(
                    account => account.mfa === accountSearchCriteria.mfa
                );
            }
            if (accountSearchCriteria.sortField) {
                accounts.sort((a, b) => {
                    return a[accountSearchCriteria.sortField] <
                        b[accountSearchCriteria.sortField]
                        ? -1
                        : 1;
                });
            }
            return accounts;
        }
        return accounts;
}

Answer 1

节点。js是单线程的，如果你的代码长时间阻塞线程，它会给你一个超时错误。您的代码有两个问题。

1. 您正在使用fs。readFileSync（jsonPath，'utf-8'） ，它是一个异步函数，在读取文件时阻塞线程。改用fs。readFile（'./Index.html'，回调）：

const fs = require('fs');
fs.readFile('./Index.html', function read(err, data) {
   if (err) {
       throw err;
   }
   console.log(data);
});

注：节点。js不适用于以CPU为中心的任务，如排序、图像处理等。它适用于i/O任务。

Answer 2

由于您的数据大小是25MB，因此应该使用内存效率更高的排序算法。

您可以尝试使用循环排序。

循环排序您可以在这里找到一个实现，并在代码中使用它来查看是否有差异。