#nlp #word #word-embedding
#nlp #word #встраивание слов
Вопрос:
Предположим, что мой текстовый корпус включает редкое слово, которого нет в предварительно подготовленном встраивании слов. Как мне преодолеть это препятствие?
Ответ №1:
Некоторые решения, которые приходят на ум:
- Определите неизвестный вектор слов, который будет представлять каждое слово, которого нет в вашем списке.
- Используйте n-граммовые модели (например, ближайший сосед)
- Используйте другую модель, которая явно рассматривает то, что находится внутри ваших слов (например, CWE)
- Удалите эти функции и сосредоточьтесь на функциях, которые появляются в предварительно подготовленном встраивании слов.
- Возможно, полезно обучение под наблюдением