Блог

Главная - Вопросы по программированию - Ошибка агрегации Mongo с «Превышен лимит памяти для группы$»

Ошибка агрегации Mongo с «Превышен лимит памяти для группы$»

#mongodb #mongodb-query #aggregation-framework #spring-data-mongodb

Вопрос:

У нас есть запрос, который получает минимальную и максимальную широту/долготу. Для этого мы используем запрос агрегации. У нас есть 2 миллиона документов.

Мы получаем следующую ошибку при выполнении запроса агрегации. Как мы можем это исправить? Снизится ли производительность, если мы будем использовать allowDiskUse:true? Или мы можем добавить какой-нибудь индекс, который может решить эту проблему?

 2021-04-02T23:57:16.682 0000 I COMMAND  [conn2829719] command loc-service.locations command: aggregate { aggregate: "locations", pipeline: [ { $match: { customerId: "8047380094" } }, { $unwind: "$outdoorLocationInfo.location.coordinates" }, { $group: { _id: "$_id", longitude: { $first: "$outdoorLocationInfo.location.coordinates" }, latitude: { $last: "$outdoorLocationInfo.location.coordinates" } } }, { $group: { _id: null, minLongitude: { $min: "$longitude" }, maxLongitude: { $max: "$longitude" }, minLatitude: { $min: "$latitude" }, maxLatitude: { $max: "$latitude" } } } ], cursor: {}, allowDiskUse: false, $db: "loc-service", $clusterTime: { clusterTime: Timestamp(1617407827, 2), signature: { hash: BinData(0, F980F28628AF21C214BD2D3F4B7C48F56ACB47BD), keyId: 6914764447386959875 } }, lsid: { id: UUID("a6e20fee-7714-4460-bdc8-2019425c7ff0") } } planSummary: IXSCAN { customerId: 1, deviceId: 1 } numYields:7900 ok:0 errMsg:"Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in." errName:Location16945 errCode:16945 reslen:313 locks:{ Global: { acquireCount: { r: 8061 } }, Database: { acquireCount: { r: 8060 } }, Collection: { acquireCount: { r: 8060 } } } storage:{} protocol:op_msg 5448ms

Запрос

 db.locations.aggregate([
  {
    $match: {
      customerId: "8047380094"
    }
  },
  {
    $unwind: "$outdoorLocationInfo.location.coordinates"
  },
  {
    $group: {
      _id: "$_id",
      longitude: {
        $first: "$outdoorLocationInfo.location.coordinates"
      },
      latitude: {
        $last: "$outdoorLocationInfo.location.coordinates"
      }
    }
  },
  {
    $group: {
      _id: null,
      minLongitude: {
        $min: "$longitude"
      },
      maxLongitude: {
        $max: "$longitude"
      },
      minLatitude: {
        $min: "$latitude"
      },
      maxLatitude: {
        $max: "$latitude"
      }
    }
  }
])

Индексы, которые у нас есть в этой коллекции:

 db.locations.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "loc-service.locations"
    },
    {
        "v" : 2,
        "key" : {
            "customerId" : 1,
            "deviceId" : 1
        },
        "name" : "customerId_1_deviceId_1",
        "ns" : "loc-service.locations",
        "sparse" : true,
        "background" : true
    },
    {
        "v" : 2,
        "key" : {
            "customerId" : 1,
            "geoHash" : 1
        },
        "name" : "customerId_1_geoHash_1",
        "ns" : "loc-service.locations",
        "sparse" : true,
        "background" : true
    },
    {
        "v" : 2,
        "key" : {
            "customerId" : 1,
            "outdoorLocationInfo.location" : "2dsphere"
        },
        "name" : "customerId_1_outdoorLocationInfo.location_2dsphere",
        "ns" : "loc-service.locations",
        "sparse" : true,
        "background" : true,
        "2dsphereIndexVersion" : 3
    },
    {
        "v" : 2,
        "key" : {
            "customerId" : 1,
            "outdoorLocationInfo.location.coordinates" : 1
        },
        "name" : "customerId_1_outdoorLocationInfo.location.coordinates_1",
        "ns" : "loc-service.locations",
        "sparse" : true,
        "background" : true
    }
]

Примеры Данных:

 db.locations.findOne()
{
    "_id" : ObjectId("60551b70a48edf83848607d2"),
    "outdoorLocationInfo" : {
        "location" : {
            "type" : "Point",
            "coordinates" : [
                -95.330024,
                36.262476
            ]
        }
    },
    "customerId" : "2868306879",
    "deviceId" : "6eN7sMEOP1e",
    "geoHash" : "9yknq9qu1rqp",
}

Спасибо

Комментарии:

1. Вы пробовали пройти мимо allowDiskUse:true ?

2. allowDiskUse:верно работает, но есть ли какое-либо снижение производительности при использовании этой опции?

Ответ №1:

Я думаю, что вы можете упростить свой запрос с помощью $arrayElemAt

 db.collection.aggregate([
  {
    $match: {
      customerId: "8047380094"
    }
  },
  {
    $group: {
      _id: null,
      "maxLatitude": {
        "$max": {
          "$arrayElemAt": [
            "$outdoorLocationInfo.location.coordinates",
            1
          ]
        }
      },
      "maxLongitude": {
        "$max": {
          "$arrayElemAt": [
            "$outdoorLocationInfo.location.coordinates",
            0
          ]
        }
      },
      "minLatitude": {
        "$min": {
          "$arrayElemAt": [
            "$outdoorLocationInfo.location.coordinates",
            1
          ]
        }
      },
      "minLongitude": {
        "$min": {
          "$arrayElemAt": [
            "$outdoorLocationInfo.location.coordinates",
            0
          ]
        }
      },
      
    }
  }
])

Попробуйте это здесь

Метки: