Блог

Я использую php-библиотеку elasticsearch для индексации и поиска документов на моем веб-сайте. Это код для создания индекса:

 curl -XPUT 'http://localhost:9200/test/' -d '
{
  "index": {
    "numberOfShards": 1,
    "numberOfReplicas": 1
  }
}'
  

Затем я использую curl XPUT для добавления документов в индекс и XGET для запроса индекса. Это работает хорошо, за исключением того факта, что сингулярные и множественные слова запроса не совпадают по индексу при возврате результатов. Например, когда я ищу «обсуждения», совпадения для «обсуждения» не возвращаются, и наоборот. Почему это так? Я думал, что об этом позаботились по умолчанию в elasticsearch. Есть ли что-нибудь, что мы должны упомянуть явно, чтобы оно соответствовало формам единственного / множественного числа?

Анализатор elasticsearch по умолчанию не выполняет stemming, и это то, что вам нужно для обработки множественного числа. единственное число. Вы можете попробовать использовать Snowball Analyzer для ваших текстовых полей, чтобы посмотреть, работает ли он лучше для вашего варианта использования:

 curl -XPUT 'http://localhost:9200/test' -d '{
    "settings" : {
        "index" : {
            "number_of_shards" : 1,
            "number_of_replicas" : 1
        }
    },
    "mappings" : {
        "page" : {
            "properties" : {
                "mytextfield": { "type": "string",  "analyzer": "snowball", "store": "yes"}
            }
        }
    }
}'
  

Почему-то snowball у меня не работает … я получаю ошибки, о которых я упоминал в комментарии к ответу @imotov. Я использовал porter stem, и у меня это отлично сработало. Это конфигурация, которую я использовал:

 curl -XPUT localhost:9200/index_name -d '
{
"settings" : {
    "analysis" : {
        "analyzer" : {
            "stem" : {
                "tokenizer" : "standard",
                "filter" : ["standard", "lowercase", "stop", "porter_stem"]
            }
        }
    }
},
"mappings" : {
    "index_type_1" : {
        "dynamic" : true,
        "properties" : {
            "field1" : {
                "type" : "string",
                "analyzer" : "stem"
            },
            "field2" : {
                "type" : "string",
                "analyzer" : "stem"
            }
         }
      }
   }
}'
  

Поскольку фильтр ‘porterStem’ сверхчувствителен, он больше подходит, если вы используете фильтр ‘minimal_english’. ‘porterStem’ создает аналогичные маркеры для таких слов, как :

поиск ‘Test’ приведет к ‘Test’, ‘Tests’, ‘Testing’, ‘Tester’ и др.

Но ‘minimal_english’ выдаст только — ‘Test’ и ‘Tests’.