无法在Azure Cosmos DB上从我的mongodb获取所有文档

Question

我正在尝试从我在Azure上的Cosmos DB中的集合中获取所有文档。该集合包含大约50.000个文档。

我收到以下错误：MongoError:光标不存在、被杀死或超时：

const mongoose = require('mongoose');
const mongooseOptions = { useNewUrlParser: true };
mongoose.connect(connectionString, mongooseOptions);
mongoose.set('useCreateIndex', true);
mongoose.Promise = global.Promise;
const mongoDB = mongoose.connection;
mongoDB.on('error', console.error.bind(console, 'MongoDB connection error:'));

const Schema = mongoose.Schema;
const MongoEidModelSchema = new Schema({
    uid: { type: String, unique: true },
    eid: { type: String, unique: true }
});

const MongoEidModel = mongoose.model('eids', MongoEidModelSchema);
MongoEidModel.find({}, {timeout: false}).then(data => {
    console.log(data);
    console.log(Object.keys(data).length);
});

当我在find（）上设置1000或1500的限制时，它会起作用。

我还测试了将集合上的RU/s从400更改为10.000（在Azure门户/控制台中），这也有效，但这似乎是一个昂贵的解决方案...不是吗？

我还测试了在递归循环中使用find（）批量获取该文件，直到没有更多文档，每次迭代之间都有一个睡眠（否则Cosmos DB会在一段时间后给我“429:太多请求”）。

有没有一种方法可以让我使用Node获取所有50000个文档。js和Mongoose不改变RU/s或做递归循环？

提前谢谢！

/丹尼尔

Answer 1

为了避免混淆，我假设您正在使用MongoDB驱动程序访问Azure中的Cosmos？

对于MongoDB，查询限制为16Mb（如果您返回50k文档，很可能会超过这个限制）。请参阅此处：https://docs.mongodb.com/manual/reference/limits/

节点驱动程序中可能没有强制执行该限制（我还没有检查其源代码），在这种情况下，值得参考Azure文档：https://docs.microsoft.com/en-us/azure/cosmos-db/faq

结果是，当您处理像这样的大量文档时，您真的应该使用光标在集合中游走。请参阅此处：如何使用N在MongoDB中使用cursor.foreach（）ode.js?

希望这有助于：）