Что, если выбранное мной слово не имеет никакого встроенного вектора в предварительно подготовленной матрице встраивания слов?

#nlp #word #word-embedding

#nlp #word #встраивание слов

Вопрос:

Предположим, что мой текстовый корпус включает редкое слово, которого нет в предварительно подготовленном встраивании слов. Как мне преодолеть это препятствие?

Ответ №1:

Некоторые решения, которые приходят на ум:

  • Определите неизвестный вектор слов, который будет представлять каждое слово, которого нет в вашем списке.
  • Используйте n-граммовые модели (например, ближайший сосед)
  • Используйте другую модель, которая явно рассматривает то, что находится внутри ваших слов (например, CWE)
  • Удалите эти функции и сосредоточьтесь на функциях, которые появляются в предварительно подготовленном встраивании слов.
  • Возможно, полезно обучение под наблюдением