#python #spacy
#python #spacy
Вопрос:
Я, скорее всего, упускаю что-то очевидное, но какой подход / модель использовалась для обучения векторов токенов в английской модели spacy medium? Это был word2vec? Архитектура глубокого обучения? Просто любопытно, что использовалось для оценки этих вложений.
Ответ №1:
Английские векторы являются общими векторами обхода перчаток. Большинство других языков имеют пользовательские векторы FastText из OSCAR Common Crawl Wikipedia. Эти источники должны быть включены в метаданные модели, но, похоже, информация о векторе была случайно опущена в выпусках 3.0.0 модели.
Комментарии:
1. Потрясающе, спасибо! Может спросить, где это задокументировано? Я искал, но, возможно, просто полностью пропустил это.
2. Это задокументировано для самых последних моделей v2 здесь: v2.spacy.io/models в описании источники. Информация о модели v3 будет обновляться при следующем выпуске нового набора моделей. Ни один из векторов не изменился между версиями v2.3.x и v3.0, но было добавлено несколько языков (македонский: пользовательский FastText, русский: Navec).