Как сохранить трансформаторный трубопровод BERT Huggingface с ответом на вопрос в качестве многоразовой модели

#raspberry-pi #bert-language-model #transformer

Вопрос:

Я написал приложение BERT для вопросов и ответов, которое использует протокол конвейера transformer. Я хотел бы перенести это на Raspberry PI 4. Есть ли способ захватить полную кэшированную модель конвейера трансформаторов вывода, квантовать ее, сохранить и преобразовать в модель Tensorflow Lite? Я хочу, чтобы пользователь мог задавать несколько специальных вопросов в соответствии с точно настроенной моделью.

Ответ №1:

Возможно, вы захотите проверить, нет ли маринованного огурца.

Это практичный способ инкапсуляции объектов, чтобы вы могли сохранять/экспортировать и импортировать/загружать.

Вы можете сохранить всю свою модель / конвейер в файле рассола и загрузить его в свою малину.

Комментарии:

1. Спасибо, я посмотрю на пикля… Я думаю, что уже использовал его однажды в одном проекте.