#python #deep-learning #pytorch
#python #глубокое обучение #pytorch
Вопрос:
допустим, у меня есть некоторые сверточные функции, которые я хочу передать через модель кодировщика-декодера и сопоставить пиксели с определенным словарем. В контексте моделей языкового перевода я увидел, что наилучшей практикой является сопоставление вашего словарного запаса с пространством более низкого измерения с использованием слоев встраивания (я использую PyTorch). Теперь, в моем случае словари — это 1. извлеченные объекты с помощью свертки и 2. набор символов с мощностью 30. Мои вопросы:
- нужно ли мне использовать вложения для первого словаря, хотя эти функции являются непрерывными, а не однократными кодировками в зависимости от размерности словаря?
- нужно ли мне использовать вложения для выходного словаря, который является низкоразмерным?
Я должен упомянуть, что я обучил модель без встраивания во вход кодера (функции conv) и сопоставил вход декодера с более высоким измерением (50) и получил довольно хорошие результаты, но я просто хочу посмотреть, верен ли мой метод или есть лучшие практики.
Заранее спасибо
Комментарии:
1. Каковы ваши базовые единицы, слова с определением границ слов или строки из 30 символов произвольной длины?
2. это просто символы, такие как ‘a’, ‘$’, ‘#’, и т.д.
3. Когда я использовал встраивания (glove, word2vec и т. Д.) Мне всегда приходилось разбивать свой текст на словарный запас на уровне слов перед преобразованием во встроенный вектор. Один из способов добиться уменьшения размерности, после очистки, скажем, 100 000 наиболее распространенных словарных точек, состоит в том, чтобы затем сгруппировать эти результаты, чтобы найти сокращенный словарный запас, скажем, 10000 архетипических опорных точек. В итоге вы получаете отображение синонимов M-1 из большего пространства в меньшее. Иногда это может выглядеть немного необычно, но может сработать достаточно хорошо и работать как альтернатива стеммингу и другим типичным процессам НЛП.