Блог

У меня есть индекс с большим количеством записей со многими полями, включая «cacheName» и «cache_ip». Каждое уникальное значение «cacheName» содержит 1 или более записей с 1 или более значениями соответствующего «cache_ip». Каждая запись также имеет уникальное поле ‘ts’ (временная метка). Например:

 {
"cacheName": "c001.abc001.xyz",
"cache_ip": "1.1.1.0",
},
{
"cacheName": "c001.abc001.xyz",
"cache_ip": "1.1.2.0",
},
{
"cacheName": "c002.efg001.mno",
"cache_ip": "1.1.9.1",
},
{
"cacheName": "c002.efg001.mno",
"cache_ip": "1.1.9.1",
},
  

Я пытаюсь создать поиск, который вернет, самое большее, каждую уникальную запись ‘cacheName’ и ‘cache_ip’. В приведенном выше примере я бы вернул в общей сложности 3 обращения («cacheName» =»c002.efg001.mno» было бы возвращено только один раз, поскольку оно имеет только одну уникальную перестановку).

Это самое близкое, к чему я пришел, но оно всегда возвращает нулевое значение для «cache_ip» вместо фактического значения (в фактических данных нет нулевых значений):

 { 
 "size": 0, 'sort': [{'ts': {'order': 'desc'}}], 
 "query": { 
             "bool": { 
                 "must": [ 
                     {"match_all": {}}, 
                     {"range": {'ts': {'gte': '20200818T010100Z', 'format': 'basic_date_time_no_millis'}}}, 
                 ] 
             } 
         }, 
 "aggs": { 
             "cacheName": { 
                 "terms": { 
                     "field": "cacheName", 
                     "size": 10000, "order": {"_key": "desc"}, 
                     }, 
                 "aggs": { 
                     "cache_ip": {"terms": {"field": "cache_ip"}}, 
                     }, 
              }, 
       }, 
}
  

Я был бы признателен за любую информацию, поскольку я из кожи вон лезу, пытаясь заставить это работать.

Спасибо!

Один из способов достичь желаемого — использовать сценарии для создания всех перестановок, и вам не понадобится вторая terms подагрегация:

 {
  "size": 0,
  "sort": [
    {
      "ts": {
        "order": "desc"
      }
    }
  ],
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "ts": {
              "gte": "20200818T010100Z",
              "format": "basic_date_time_no_millis"
            }
          }
        }
      ]
    }
  },
  "aggs": {
    "cacheName": {
      "terms": {
        "script": {
          "source": "[doc.cache_name.value ?: 'no.name', doc.cache_ip.value ?: 'no.ip'].join('-')"
        },
        "size": 10000,
        "order": {
          "_key": "desc"
        }
      }
    }
  }
}