Блог

Я работаю над проектом по извлечению ключевого слова из коротких текстов (3-4 предложения). Используя spaCy библиотеку, я извлекаю именные фразы и NER и использую их в качестве ключевых слов. Тем не менее, я хотел бы отсортировать их в зависимости от их важности по сравнению с исходным текстом.

Я пробовал стандартные подходы к поиску информации, например tfidf , и даже пару алгоритмов на основе графов, но с таким коротким текстом результаты были не такими уж хорошими.

Я подумал, что, возможно, использование NN с механизмом внимания может помочь мне ранжировать эти ключевые слова. Есть ли какой-либо способ использовать предварительно обученные модели, поставляемые с spaCy, для выполнения какого-либо ранжирования?

Как насчет чего-то вроде максимальной предельной релевантности? http://www.cs.cmu.edu /~jgc/публикация/The_Use_MMR_Diversity_Based_LTMIR_1998.pdf