如何从MongoDB阵列中删除重复对象？

Question

我的数据如下所示：

{

    "foo_list": [
      {
        "id": "98aa4987-d812-4aba-ac20-92d1079f87b2",
        "name": "Foo 1",
        "slug": "foo-1"
      },
      {
        "id": "98aa4987-d812-4aba-ac20-92d1079f87b2",
        "name": "Foo 1",
        "slug": "foo-1"
      },
      {
        "id": "157569ec-abab-4bfb-b732-55e9c8f4a57d",
        "name": "Foo 3",
        "slug": "foo-3"
      }
    ]
}

其中，foo\u list是一个名为Bar的模型中的字段。请注意，阵列中的第一个和第二个对象是完全重复的。

除了切换到PostgresSQL这一显而易见的解决方案之外，我还可以运行什么MongoDB查询来删除foo\u列表中的重复条目？

类似的答案并不能完全解决这个问题：

• https://stackoverflow.com/a/16907596/432
• https://stackoverflow.com/a/18804460/432

这些问题回答了数组中是否有裸字符串的问题。然而，在我的情况下，数组充满了对象。

我希望很明显，我对查询数据库不感兴趣；我希望数据库中的副本永远消失。

Answer 1

纯粹从聚合框架的角度来看，有几种方法可以做到这一点。

您可以在现代版本中直接应用$setUnion：

 db.collection.aggregate([
     { "$project": { 
         "foo_list": { "$setUnion": [ "$foo_list", "$foo_list" ] }
     }}
 ])

或者更传统地使用$展开和$添加设置：

db.collection.aggregate([
    { "$unwind": "$foo_list" },
    { "$group": {
        "_id": "$_id",
        "foo_list": { "$addToSet": "$foo_list" }
    }}
])

或者，如果您只对副本感兴趣，则按常规分组：

db.collection.aggregate([
    { "$unwind": "$foo_list" },
    { "$group": {
        "_id": {
            "_id": "$_id",
            "foo_list": "$foo_list"
        },
        "count": { "$sum": 1 }
    }},
    { "$match": { "count": { "$ne": 1 } } },
    { "$group": {
        "_id": "$_id._id",
        "foo_list": { "$push": "$_id.foo_list" }
    }}
])    

如果您确实想用另一条update语句“删除”数据中的重复项，那么最后一个表单可能会很有用，因为它标识了重复的元素。

因此，在最后一种形式中，示例数据返回的结果标识了重复项：

{
    "_id" : ObjectId("53f5f7314ffa9b02cf01c076"),
    "foo_list" : [
            {
                    "id" : "98aa4987-d812-4aba-ac20-92d1079f87b2",
                    "name" : "Foo 1",
                    "slug" : "foo-1"
            }
    ]
}

其中，对于数组中包含重复条目的每个文档，从集合中返回结果，并且哪些条目是重复的。这是需要更新的信息，当需要从结果中指定更新信息以删除重复项时，可以循环结果。

这实际上是通过每个文档使用两个update语句来完成的，因为一个简单的$pull操作将删除“这两个”项，这不是您想要的：

var cursor = db.collection.aggregate([
    { "$unwind": "$foo_list" },
    { "$group": {
        "_id": {
            "_id": "$_id",
            "foo_list": "$foo_list"
        },
        "count": { "$sum": 1 }
    }},
    { "$match": { "count": { "$ne": 1 } } },
    { "$group": {
        "_id": "$_id._id",
        "foo_list": { "$push": "$_id.foo_list" }
    }}
])    

var batch = db.collection.initializeOrderedBulkOp();
var count = 0;

cursor.forEach(function(doc) {
    doc.foo_list.forEach(function(dup) {
        batch.find({ "_id": doc._id, "foo_list": { "$elemMatch": dup } }).updateOne({
            "$unset": { "foo_list.$": "" }
        });
        batch.find({ "_id": doc._id }).updateOne({ 
            "$pull": { "foo_list": null }
        });
    ]);

    count++;
    if ( count % 500 == 0 ) {
        batch.execute();
        batch = db.collection.initializeOrderedBulkOp();
    }
});

if ( count % 500 != 0 )
    batch.execute();

这是现代MongoDB 2.6及更高版本的实现方式，通过聚合和批量更新操作生成光标。但原则不变：

>

识别文档中的重复项

循环结果以发布对受影响文档的更新

使用位置运算符unset将“第一个”匹配的数组元素设置为null

使用$pull从数组中删除null项

因此，在处理了上述操作之后，您的示例现在如下所示：

{
    "_id" : ObjectId("53f5f7314ffa9b02cf01c076"),
    "foo_list" : [
            {
                    "id" : "98aa4987-d812-4aba-ac20-92d1079f87b2",
                    "name" : "Foo 1",
                    "slug" : "foo-1"
            },
            {
                    "id" : "157569ec-abab-4bfb-b732-55e9c8f4a57d",
                    "name" : "Foo 3",
                    "slug" : "foo-3"
            }
    ]
}

删除重复项时“重复”项仍然完好无损。这就是您从集合中识别和删除重复数据的过程。