Блог

Мы пытаемся реализовать пользовательский фильтр, который должен запоминать прошлые токены, которые были обработаны ранее в рамках того же запроса. Мы попытались переопределить методы end() and / or reset() из TokenFilter , но обнаружили, что эти методы вызывались между каждым токеном.

Это противоречило нашим ожиданиям end() , что методы and / or reset() будут вызываться только в начале или конце потока токенов, представляющего запрос. Это неожиданное поведение может быть воспроизведено следующим примером кода ниже.

(solr) фрагмент схемы:

 <fieldType name="text_general" class="solr.TextField">
  <analyzer type="index">
    ...
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="com.foobar.solr.CustomFilterFactory" />
  </analyzer>
</fieldType>
  

Реализация фильтра:

 public class CustomFilter extends TokenFilter {
    CharTermAttribute termAttribute = addAttribute(CharTermAttribute.class);

    public CustomFilter(TokenStream in) {
        super(in);
    }

    @Override
    public boolean incrementToken() throws IOException {
        System.out.println("### increment token pre loop: "   termAttribute.toString());

        while (input.incrementToken()) {
            System.out.println("### increment token looping through input: "   termAttribute.toString());
        }

        return false;
    }

    @Override
    public void end() throws IOException {
        System.out.println("### end");
        super.end();
    }

    @Override
    public void reset() throws IOException {
        System.out.println("### reset");
        super.reset();
    }
}
  

Вывод журнала для запроса «foo bar»:

 ### reset
### increment token pre loop:
### increment token looping through input: foo
### end
### reset
### increment token pre loop:
### increment token looping through input: bar
### end
  

Почему методы end() and reset() вызываются для каждого токена, а не для полного запроса?

Редактировать: или почему input.incrementToken() возвращается false после обработки первого токена?

Поскольку я заметил, что вы используете solr, вам нужно понимать, что анализатор запросов будет разбивать запрос на пробелы, и он имеет приоритет перед вашим анализатором: поэтому, если вы запрашиваете «foo bar», у вас будут «foo» и «bar», передаваемые отдельно по цепочке анализаторов. Вы можете обойти это поведение, сделав «foo bar» запросом фразы, добавив "foo bar"

РЕДАКТИРОВАТЬ: для пояснения, запрос фразы будет иметь приоритет над разделением пробелов анализатора запросов и определяется путем обертывания последовательности токенов внутри символов кавычек