Spring数据排序操作超出最大大小

Question

我是相当新的Spring和MongoDB，并有一个问题，从我的MongoDB拉数据。我试图获得相当大的数据量，并收到以下异常：

  ... 
   Query query = new Query();
    query.with(new Sort(Sort.Direction.DESC, "vin"));
        Criteria c = new Criteria().andOperator(Criteria.where("updateTime").gt(startDate),  
                Criteria.where("updateTime").lte(endDate));  

        query.addCriteria(c);

        return this.mongoOperations.find(query, VehicleStatus.class);

• 执行器错误：操作失败：排序操作使用超过最大33554432字节的RAM。添加索引，或指定一个较小的限制。；嵌套异常是com.mongodb.MongoExc0019： Execator错误：操作失败：排序操作使用超过内存的最大33554432字节。添加索引，或指定较小的限制。

在进一步阅读之后，似乎使用聚合是一个好主意，因为我可以允许将磁盘用于临时存储。我认为允许磁盘空间可以解决这个问题，也许我用错了？但是，我现在收到以下错误：聚合结果超过了最大文档大小（16MB）”，“代码”：16389

 ...
 MatchOperation matchStage = Aggregation.match(new Criteria().andOperator(Criteria.where("updateTime").gt(startDate),  
                Criteria.where("updateTime").lte(endDate)));
        SortOperation sort = Aggregation.sort(Direction.DESC, "vin");

        Aggregation agg = Aggregation.newAggregation(VehicleStatus.class, matchStage, sort)
                .withOptions(Aggregation.newAggregationOptions().allowDiskUse(true).build());

        List<VehicleStatus> vs = this.mongoOperations.aggregate(agg, "vehicleStatus", VehicleStatus.class).getMappedResults();
        return vs;

我真的不知道如何处理这件事。如果两个查询都在给定的大小限制内，则可以工作。如果任何人有任何提示或建议，将不胜感激。如果你有任何问题或需要任何额外的代码让我知道！

谢谢

Answer 1

答案我原来标记为正确的工作，但我能够找到一个更简单的答案，索引！

因此，对于其他有此问题的人：

db.get集合（'myColltionName'）. createIndex（{"key"：-1}）（我为此使用robomongo）

所以在我的例子中，关键是vin，因为我想按它排序，-1表示降序，1表示升序。

Answer 2

聚合管道的结果超过16MB，并且由于MongoDB文档的最大允许大小为16MB，因此引发此异常。

因此，您有两种选择：

• 减小输出的大小，这里的一种可能是使用Spring Data MongoDB的limit（）方法来限制输出的大小

您可以通过Spring的Mongo DB facade将代码调整为使用$out，如下所示（注意：我尚未验证此代码，但重要的一点是，您必须提供一个聚合操作，如下所示）：

Aggregation agg = Aggregation.newAggregation(VehicleStatus.class, matchStage, sort, new    AggregationOperation() {
  @Override
  public DBObject toDBObject(AggregationOperationContext context) {
    return new BasicDBObject("$out", “outputCollection”);
  }
}).withOptions(Aggregation.newAggregationOptions().allowDiskUse(true).build());