Блог

У меня возникает требование, при котором пользователь вводит некоторые символы и ожидает получить результаты, аналогичные SQL-подобному запросу. Я использую n-gram, потому что я видел, что многие люди рекомендуют избегать использования поиска по шаблону. Однако возвращаемые данные иногда крайне неуместны, поскольку они содержат символы в тексте, но перепутаны. Я добавил оценку, но это не работает. У кого-нибудь есть какие-либо предложения? Спасибо.

Обновления

Ниже приведены настройки индекса:

 "settings": {
    "index": {
        "lifecycle": {
            "name": "audit_log_policy",
            "rollover_alias": "audit-log-alias-test"
        },
        "analysis": {
            "analyzer": {
                "abi_analyzer": {
                    "tokenizer": "n_gram_tokenizer"
                }
            },
            "tokenizer": {
                "n_gram_tokenizer": {
                    "token_chars": [
                        "letter",
                        "digit"
                    ],
                    "min_gram": "3",
                    "type": "ngram",
                    "max_gram": "10"
                }
            }
        },
        "number_of_shards": "1",
        "number_of_replicas": "1",
        "max_ngram_diff": "10",
        "max_result_window": "100000"
    }
}
  

И вот как отображается поле:

 "resourceCode": {
    "type": "text",
    "fields": {
        "ngram": {
            "analyzer": "abi_analyzer",
            "type": "text"
        },
        "keyword": {
            "ignore_above": 256,
            "type": "keyword"
        }
    }
},
"logDetail": {
    "type": "text",
    "fields": {
        "ngram": {
            "analyzer": "abi_analyzer",
            "type": "text"
        },
        "keyword": {
            "ignore_above": 8191,
            "type": "keyword"
        }
    }
}
  

И вот как я буду запрашивать:

 query_string: {
    fields: ["logDetail.ngram", "resourceCode.ngram"],
    query: data.searchInput.toLowerCase(),
}
  

Примеры

Вот пример запроса:

 {
    "query": {
        "bool": {
            "must": [
                {
                    "terms": {
                        "organizationIds": [
                            ...
                        ]
                    }
                },
                {
                    "range": {
                        "createdAt": {
                            "gte": "2020-08-11T17:00:00.000Z",
                            "lte": "2020-08-31T16:59:59.999Z"
                        }
                    }
                },
                {
                    "multi_match": {
                        "fields": [
                            "logDetail.ngram",
                            "resourceCode.ngram"
                        ],
                        "query": "0004"
                    }
                }
            ]
        }
    },
    "sort": [
        {
            "createdAt": "desc"
        }
    ],
    "track_scores": true,
    "size": 20,
    "from": 0
}
  

И вот нерелевантный результат

 {
    "_index": "user-interaction-audit-log-test-000001",
    "_type": "_doc",
    "_id": "ae325b4a6b45442cbf8a44d595e9a747",
    "_score": 3.4112902,
    "_source": {
        "logOperation": "UPDATE",
        "resource": "CUSTOMER",
        "resourceCode": "Htest11211",
        "logDetail": "<div>Updated Mobile Number from <var isolate><b> 84966123451000</b></var> to <var isolate><b> 849</b></var></div>",
        "organizationIds": [
            "5e72ea0e4019f01fad0d91c9",
        ],
        "createdAt": "2020-08-20T08:13:36.026Z",
        "username": "test_user",
        "module": "PARTNER",
        "component": "WEB_APP"
    },
    "sort": [
        1597911216026
    ]
}
  

Проблема в том, что вы не указали какой-либо поисковый анализатор. Таким образом, ваши входные данные для поиска также анализируются с помощью abi_analyzer и 0004 , которые преобразуются в 000 и 004 . Первый маркер, т.е. 000 соответствует одному маркеру logDetail.ngram поля.

Что вам нужно сделать, так это указать standard search_analyzer для обоих полей в вашем сопоставлении, чтобы вы не анализировали вводимые данные поиска, а просто пытались сопоставить их с теми же индексированными токенами:

 "resourceCode": {
    "type": "text",
    "fields": {
        "ngram": {
            "analyzer": "abi_analyzer",
            "search_analyzer": "standard",           <--- here
            "type": "text"
        },
        "keyword": {
            "ignore_above": 256,
            "type": "keyword"
        }
    }
},
"logDetail": {
    "type": "text",
    "fields": {
        "ngram": {
            "analyzer": "abi_analyzer",
            "search_analyzer": "standard",           <--- here
            "type": "text"
        },
        "keyword": {
            "ignore_above": 8191,
            "type": "keyword"
        }
    }
}
  

Если вы не хотите изменять свое отображение из-за нежелания переиндексировать свои данные, вы также можете указать поисковый анализатор во время запроса:

             {
                "multi_match": {
                    "fields": [
                        "logDetail.ngram",
                        "resourceCode.ngram"
                    ],
                    "analyzer": "standard",          <--- here
                    "query": "0004"
                }
            }
  

Обновить:

         "analyzer": {
            "abi_analyzer": {
                "tokenizer": "n_gram_tokenizer"
                "filter": ["lowercase"]
            }
        },