Маркировка XLNet и встраивание слов

#nlp #huggingface-transformers

Вопрос:

Я использую модель XLNet для своего проекта классификации текста, и я почти новичок в этой области. У меня есть два вопроса:

Возможно ли реализовать встраивание слов в маркировку XLNet, и если да, то как я могу это реализовать? До сих пор я использовал готовые модели трансформеров HuggingFace. Как я могу улучшить свои результаты?

Комментарии:

1. У вас есть набор тестовых данных? Как вы определяете «лучший результат»? Если у вас есть и то, и другое, вы можете улучшить производительность модели.