批量写入Firebase Cloud Firestore

Question

我想创建一个新集合，并向其中添加成千上万个大小约为1-2K的文档。我已经在json中保存了数据，因此我认为这很容易。

我知道该批处理一次可以写入500次，因此为了将其分成500块，我编写了以下代码。虽然出于测试目的，我以20个块运行它，而我的测试json有72个对象。

但我不断收到以下错误

node_modules\@google-cloud\firestore\src\write-batch.js:148
  throw new Error('Cannot modify a WriteBatch that has been committed.');
  ^

Error: Cannot modify a WriteBatch that has been committed.

我的代码如下

var dataObj = JSON.parse(fs.readFileSync('./bigt.json'))
var tmpdd = dataObj.slice(0, 72)
var batch = db.batch();

console.log(tmpdd.length)

let tc = tmpdd.length
let lc = 0
let upperLimit = 20, dd = null

while(lc<=tc){

    dd = tmpdd.slice(lc, upperLimit )

    console.log(lc, upperLimit)
    dd.map(
    o => batch.set(db.collection('nseStocks').doc(o.Date+o.variable), o)
    )

    batch.commit().then(function () {
        console.log('Written to firestore', lc, lc + upperLimit)
    })
    .catch(
        (err) => console.log('Fail', err)
    )

    lc = upperLimit
    upperLimit = upperLimit + 20

}

同样奇怪的是，似乎没有在循环的每次迭代中都提交批处理。理想情况下，我会让Firestore确定文档ID，但显然批处理没有添加功能。

我尝试过以循环方式添加文档，而不是批量写入。但是在添加一些文档后，它给我超时错误。当然，对于大量文档来说，这是不切实际的。

您可以说我对Firestore还是很陌生，这是我玩第二天。

请告诉我是否有明显的错误或更好的方法来完成此看似简单的任务。

谢谢

Answer 1

您正在为程序顶层的 所有 写入创建一个批处理。batch.set()在所有批量写入操作中，所有调用都可以重用它。

var batch = db.batch();

相反，您应该为每组写入创建一个新批处理。您可以在while循环的顶部执行此操作：

while(lc<=tc) {
    var batch = db.batch();
    // use the new batch here
}