Блог

Главная - Вопросы по программированию - как я могу получить оценку согласованности тем двух моделей, а затем использовать ее для сравнения?

как я могу получить оценку согласованности тем двух моделей, а затем использовать ее для сравнения?

#lda #topic-modeling

#lda #тема-моделирование

Вопрос:

Я хочу получить согласованность темы для модели LDA. Допустим, у меня есть две модели LDA, одна с набором слов, а вторая с набором фраз. как я могу получить согласованность для этих двух моделей, а затем сравнить их на основе согласованности?

Комментарии:

1. Пожалуйста, добавьте больше информации. Какой язык программирования и какие пакеты или инструменты вы используете? Являются ли эти модели одним и тем же набором данных? Кроме того, пожалуйста, добавьте, что именно вы подразумеваете под «набором фраз» — все это исключительно фраза или вы просто добавили биграммы и триграммы? Это будет полезно для поиска ответа на ваш вопрос. Как правило, вы можете сравнить две оценки согласованности — тот, который выше, легче понять людям.

Ответ №1:

Для двух отдельных моделей вы можете просто проверить согласованность отдельно. Вы должны опубликовать некоторый код, но вот как проверить согласованность:

 # Compute Coherence Score
coherence_model_ldamallet = CoherenceModel(model=ldamallet, texts=processed_docs, dictionary=dictionary, coherence='c_v')
coherence_ldamallet = coherence_model_ldamallet.get_coherence()
print('nCoherence Score: ', coherence_ldamallet)

Если вы хотите сравнить, ознакомьтесь с методом elbow для оптимизации согласованности: 17 Надеюсь, это поможет

Метки: