Блог

 BertTokenizer.save_pretrained("OUTPUT_DIR")
  

сохраняет vocab.txt , special_tokens_map.json и tokenizer_config.json в мой выходной каталог,
доступная модель поезда хранится как pytorch_model.bin, и конфигурация также там.

Как можно использовать их для вывода, предпочтительно с помощью torchtext?

Чтобы выполнить вывод, вам нужно снова загрузить токенизатор и модель следующим образом (здесь я предполагаю, что модель, которую вы обучили, была BertForSequenceClassification ):

 tokenizer = BertTokenizer.from_pretrained("path_to_directory")
model = BertForSequenceClassification.from_pretrained("path_to_directory")
  

Например, «path_to_directory» является строкой "./model" (в случае, если ваш каталог называется «model», и вы в настоящее время находитесь в его родительском каталоге). Токенизатор и модель автоматически определяют, какие файлы им нужны из каталога. Токенизатор будет использовать vocab.txt файл, модель будет использовать файл config.json для установки своих гиперпараметров, а также файл pytorch_model.bin для загрузки предварительно подготовленных весов. Вам просто нужно убедиться, что все эти файлы расположены в этом каталоге.

Знаете ли вы, как предоставить новое предложение модели, подобной BERT? Я не знаком с TorchText, но вы можете выполнить вывод следующим образом:

 sentence = "This is a new sentence"
inputs = tokenizer(sentence, padding='max_length', truncation=True, return_tensors="pt")
outputs = model(**inputs)
  

Токенизатор преобразует предложение в формат, понятный БЕРТУ (т. Е. Входные идентификаторы, идентификаторы типа токена и т. Д. В виде тензоров PyTorch), Включая заполнение и усечение. outputs Переменная представляет собой кортеж Python, содержащий необработанные логиты.