Агрегированный конвейер возвращает неверный результат по сравнению с CLI

#mongodb #go

#mongodb #Вперед

Вопрос:

У меня есть коллекция в mongo, для которой я запускаю следующий запрос

 db.feeds.aggregate({"$match":{createdat:"20190203"}}, {"$group": {_id: {"type": "$type"}, total: {$sum: 1} }},{"$project":   {"type": "$_id.type", "tot": "$total", "_id": 0} }   )
  

Он работает как ожидалось и возвращает,

 { "type" : "f", "tot" : 1 }
{ "type" : "ebm", "tot" : 1 }
{ "type" : "b", "tot" : 3 }
  

Однако, когда я пытаюсь реплицировать конвейер в Golang, следующим образом:

     pipeline := []bson.M{
    // match
    {"$match": bson.M{"createdat": when}},
    // group
    {"$group": bson.M{
        "_id":        bson.M{"type": "$type"}, // "$fieldname" - return the field
        "TotalFeeds": bson.M{"$sum": 1}}},
    // project
    {"$project": bson.M{"type": "$_id.type", // project selects subset of fields
        "TotalFeeds": "$TotalFeeds", // rename fiedls
        "_id":        0}},           // 0 means not show _id
}
  

Возвращаемое значение равно 0.

 map[$match:map[createdat:20190203]] map[$group:map[TotalFeeds:map[$sum:1] _id:map[type:$type]]] map[$project:map[type:$_id.type TotalFeeds:$TotalFeeds _id:0]]]
{f 0  }
{ebm 0  }
{b 0  }
[{f 0  } {ebm 0  } {b 0  }]
  

Ниже приведена вся функция, которую я использую в Golang:

 func CountFeeds(when string) Feeds {

    ctx, _ := context.WithTimeout(context.Background(), 60*time.Second)

    pipeline := []bson.M{
        // match
        {"$match": bson.M{"createdat": when}},
        // group
        {"$group": bson.M{
            "_id":        bson.M{"type": "$type"}, // "$fieldname" - return the field
            "TotalFeeds": bson.M{"$sum": 1}}},
        // project
        {"$project": bson.M{"type": "$_id.type", // project select subset of fields
            "TotalFeeds": "$TotalFeeds", // rename fiedls
            "_id":        0}},           // 0 means not show _id
    }


    fmt.Println(pipeline)
    curs, err := db.Collection("feeds").Aggregate(ctx, pipeline)
    utilities.Catch(err)

    defer curs.Close(ctx)

    element := Feeds{}
    e := []Feeds{}
    for curs.Next(ctx) {
        err := curs.Decode(amp;element)
        fmt.Println(element)
        utilities.Catch(err)
        e = append(e, element)
    }

    fmt.Println(e)
    return element
}
  

Комментарии:

1. Просто краткое замечание, ваши комментарии » // match», » // group» фактически бесполезны, поскольку прямо под ними написано предпринятое действие. Если вы не добавите текст к этим комментариям, описывающим происходящее, они фактически бесполезны.

2. Спасибо! Так проницательно.. вы также знаете, почему это не работает?

3. Поскольку ключи группировки явно присутствуют в выходных данных, я подозреваю о возможном преобразовании типа из исходного курсора. Почти уверен, что { $sum: 1 } внутренне обрабатывается как Double , что означает, что его перевод, вероятно, выполняется с плавающей запятой и, возможно, ваше числовое значение в вашей структуре не соответствует этому. Так что это, скорее всего, происходит там, чем сервер внезапно решает отправить 0 .

4. Спасибо, Нил, я тоже подумал кое-что в этом направлении. Итак, вы думаете, что переменная struct{ тип string, количество float64} будет работать?

5. не повезло. Это работает, только если a определяет интерфейс map[string]{}. Что не идеально. Есть другие предложения?

Ответ №1:

Сначала используйте bson.D{} вместо bson.M{}. Это связано с тем, что bson.D{} следует использовать в ситуациях, когда важен порядок, таких как команды MongoDB.

Вы также можете инкапсулировать весь конвейер в mongo.Конвейер. Например:

 pipeline := mongo.Pipeline{
    {{"$match", bson.D{{"createdata", 10}}}},
    {{"$group", bson.D{
        {"_id",        bson.D{{"type", "$type"}}}, 
        {"TotalFeeds", bson.D{{"$sum", 1}}},
    }}},
    {{"$project", bson.D{
        {"type", "$_id.type"}, 
        {"TotalFeeds", "$TotalFeeds"}, 
        {"_id", 0}},
    }},          
}
  

Проверьте свое Feeds{} отображение структуры. Убедитесь, что либо вы указали bson сопоставление, т.е. :

 type Feeds struct {
    Type string `bson:"type"`
    TotalFeeds int `bson:"TotalFeeds"`
}
  

Или на этапе проектирования $project вы используете согласованную оболочку для полей. Например, укажите все строчные type и totalfeeds или все заглавные Type и TotalFeeds .

 pipeline := mongo.Pipeline{
    {{"$match", bson.D{{"createdata", 10}}}},
    {{"$group", bson.D{
        {"_id",        bson.D{{"type", "$type"}}}, 
        {"totalfeeds", bson.D{{"$sum", 1}}},
    }}},
    {{"$project", bson.D{
        {"type", "$_id.type"}, 
        {"totalfeeds", "$totalfeeds"}, 
        {"_id", 0}},
    }},      
}
  

Тогда вам не нужно указывать bson сопоставление в структуре:

 type MyStruct struct {
    Type string 
    Total int
}
  

Поэтому либо используйте согласованные варианты имен полей в вашей структуре, либо явно предоставьте bson сопоставление.

Комментарии:

1. Спасибо! это действительно помогло. Я буду использовать bson. С этого момента D. Что касается типа данных, он работал с правильным тегом bson. Однако я не смог воспроизвести ваш второй метод. Даже если я использую согласованные имена на этапе проектирования, мне все равно нужен правильный тег в MyStruct, чтобы данные возвращались в Total. Еще один вопрос, зачем мне нужны дополнительные скобки, когда я использую bson.D? т. е. bson. D{ {«type», «$type} } вместо bson. D{«type», «$type»} и {{«$match», ..}} вместо {«$match», ..}?

2. Не видя вашей структуры, я не могу толком прокомментировать, почему второй метод у вас не работает. bson.D{} похоже на массив, в нем используются запятые, поэтому вам нужны другие скобки для группировки ключа / значения. т. е. bson.D{ {key, value}, {key2, value2} }