Azure Cosmos DB的API对MongoDB的变更流支持有多可靠？

Question

为了跟踪对集合所做的更改，我用下面的代码将受影响的条目转储到一个文件中（这只是为了测试目的）。

private async Task HandleChangeStreamAsync<T>(IMongoCollection<T> coll, StreamWriter file, CancellationToken cancellationToken = default)
{
    var pipeline = new EmptyPipelineDefinition<ChangeStreamDocument<T>>()
            .Match(change => change.OperationType == ChangeStreamOperationType.Insert || 
                             change.OperationType == ChangeStreamOperationType.Update || 
                             change.OperationType == ChangeStreamOperationType.Replace)
            .AppendStage<ChangeStreamDocument<T>, ChangeStreamDocument<T>, ChangeStreamOutputWrapper<T>>(
                  "{ $project: { '_id': 1, 'fullDocument': 1, 'ns': 1, 'documentKey': 1 }}");

    var options = new ChangeStreamOptions
    {
        FullDocument = ChangeStreamFullDocumentOption.UpdateLookup
    };

    using (var cursor = await coll.WatchAsync(pipeline, options, cancellationToken))
    {
        await cursor.ForEachAsync(async change =>
        {
            var json = change.fullDocument.ToJson(new JsonWriterSettings { Indent = true });
            await file.WriteLineAsync(json);
        }, cancellationToken);
    }
}

在观察输出时，我注意到并不是每次更新集合时都会触发更改提要。我可以通过将生成的输出与MongoDB云托管的数据库进行比较来确认这一点。

>

Azure Cosmos DB的API对MongoDB的变更流支持有多可靠？

如果更改提要支持不能保证事件处理频率，并且无法处理'oplog.rs'，那么唯一的选择似乎是定期轮询数据库。

如果我错了，请纠正我，但是切换到轮询将极大地影响性能，并将导致一个不可伸缩的解决方案。

Answer 1

我怀疑MongoDB变更流是建立在Cosmos DB变更提要上的。我的经验完全是使用Cosmos DB更改提要；我根本没有使用MongoDB API。所以这个答案完全是假设MongoDB变更流内部使用Cosmos DB变更提要，这是有道理的，但我可能错了。

Azure Cosmos DB的API对MongoDB的变更流支持有多可靠？

它是完全可靠的，但有一些限制。

API能保证最新的更新总是可用的吗？

在代码从更改提要中检索文档后，文档总是有可能发生更改，在这种情况下，更新后的文档将重新发布到更改提要中，代码很快就会再次看到它。当然，不能保证您的代码刚刚从变更提要中获得的文档与数据库中的文档是相同的，但最终会保持一致。

我不能自己处理'local'数据库的'oplog.rs'集合，API以任何方式支持这一点吗？这甚至被鼓励了吗？

这是正确的。

然而，我想知道依赖这种机制是否安全，并确保不要错过对数据库进行的任何关键更新。

代码将始终（最终）接收更新的文档。但是，如果需要单独查看每个更改，则需要使用类似事件源的方法来构造数据结构。如果您的应用程序只关心文档的最终状态，那么更改提要就可以了。但是，例如，如果您需要知道SomeCriticalProperty是否被设置为true，然后返回到false，那么您将需要事件源。