Нет модуля точной настройки / Bert_token_embedderв пределах всех команд Nlp или token_embedders

#allennlp

#allennlp

Вопрос:

Я работал над проектом github отсюда: https://github.com/jiacheng-xu/DiscoBERT По словам авторов, для этого требуется Allennlp 0.9.0. Я создал виртуальную среду с помощью pip и попытался установить 0.9, но это выдало ошибку. Итак, я попробовал Allennlp 1.2, который был установлен нормально, но я получаю ошибки в двух следующих строках:

 from allennlp.commands.fine_tune import fine_tune_model_from_file_paths
from allennlp.modules.token_embedders.bert_token_embedder import PretrainedBertModel, PretrainedBertEmbedder
 

Кажется, по крайней мере, в версии 1.2, нет модуля fine_tune и bert_token_embedder. Есть ли быстрый способ обойти эти ошибки?

Ответ №1:

Из https://github.com/allenai/allennlp/issues/4849:

Мы удалили file_tune команду. Теперь вы можете создать свою модель с from_archive() помощью конструктора (либо с помощью кода, либо из файла конфигурации) и обучить таким образом.

bert_token_embedder также исчез. Мы унифицировали поддержку моделей huggingface в pretrained_transformer_* классах. Итак, теперь есть a pretrained_transformer_tokenizer pretrained_transformer_indexer и a pretrained_transformer_embedder . Раньше у нас было несколько немного разных способов делать одно и то же, и это казалось опасно запутанным.

Почему установка старой версии не удалась? Нет причин, по которым старые версии не будут работать.