#audio #bert-language-model #transformer
#Аудио #bert-language-model #трансформатор
Вопрос:
Для аудио используется новая архитектура на основе transformer:
https://github.com/pohanchi/AALBERT
https://arxiv.org/abs/2005.08575
Он был обучен Librispeech (речевые данные), но я хочу использовать его для звуков окружающей среды и музыки.
Я новичок в мире трансформеров. Может ли кто-нибудь подсказать мне, можно ли обучить его на моих собственных данных?
Мне было интересно, есть ли какой-либо рабочий пример учебника для этой модели, который я случайно пропустил?