#nlp #huggingface-transformers #bert-language-model
Вопрос:
Я хочу продолжить предварительную подготовку модели БЕРТА на своем собственном наборе данных. Насколько я понял, это называется адаптацией к домену. Таким образом, это будет неконтролируемый подход. Я буду использовать BertForMaskedLM или BertForPreTraining . Как я могу добиться этого с помощью transformers.Trainer ? Что должен Dataset возвращать мой класс в __getitem__ методе? Я не смог найти ни одного конкретного ресурса по этому поводу. Спасибо.