Блог

Главная - Вопросы по программированию - Как я могу преобразовать пользовательскую модель PyTorch (model.pt) в модель трансформеров Huggingface, чтобы я мог загрузить ее с помощью функции from_pretrained()?

Как я могу преобразовать пользовательскую модель PyTorch (model.pt) в модель трансформеров Huggingface, чтобы я мог загрузить ее с помощью функции from_pretrained()?

#pytorch #huggingface-transformers

Вопрос:

Я предварительно обучил пользовательскую модель НЛП в PyTorch и сохранил последнюю контрольную точку как «model.pt». Теперь я хочу интегрировать эту модель в среду трансформаторов Huggingface, чтобы ее можно было настроить с помощью разных головок и т. Д. Как мне преобразовать эту модель PyTorch в модель обнимающего лица? Насколько я понимаю, я должен каким-то образом сгенерировать набор файлов конфигурации?

Комментарии:

1. Какую модель вы обучали? Это трансформатор? Модель состоит из кода и весов. from_pretrained позволяет создавать код модели из файлов конфигурации и классов, предоставляемых библиотекой transformers, и загружать в нее свои веса.

2. Да, это трансформатор с модифицированным модулем внимания

3. Вы в основном должны делать то же самое, что и при добавлении huggingface новой архитектуры. Просто найдите PR на github и проверьте, что они сделали.

4. Спасибо, я так и сделаю. Здесь я нашел дополнительный учебник по полному процессу: huggingface.co/transformers/add_new_model.html

Метки: ,