Блог

Я пытался использовать модель gramformer на своем компьютере, используя модели, доступные локально, чтобы сэкономить время загрузки, но при его локальной установке возникает проблема с невозможностью найти ‘config.json’ либо локально, либо в ‘prithivida / grammar_error_correcter_v1’. Ниже я прикрепил изображение ошибки и свой код (который аналогичен тому, который был запущен при полной установке библиотеки с некоторыми изменениями в классе gramformer)

Gramformer: https://github.com/PrithivirajDamodaran/Gramformer

  def __init__(self, models=1, use_gpu=False):
    from transformers import AutoTokenizer
    from transformers import AutoModelForSeq2SeqLM
    from lm_scorer.models.auto import AutoLMScorer as LMScorer
    import errant
    self.annotator = errant.load('en')
    
    if use_gpu:
        device= "cuda:0"
    else:
        device = "cpu"
    batch_size = 1    
    self.scorer = LMScorer.from_pretrained("gpt2", device=device, batch_size=batch_size)    
    self.device    = device
    correction_model_tag = "prithivida/grammar_error_correcter_v1"
    # correction_model_tag = "/local_folder"
    self.model_loaded = False

    if models == 1:
        self.correction_tokenizer = AutoTokenizer.from_pretrained(correction_model_tag)
        self.correction_model     = AutoModelForSeq2SeqLM.from_pretrained(correction_model_tag)
        self.correction_model     = self.correction_model.to(device)
        self.model_loaded = True
        print("[Gramformer] Grammar error correct/highlight model loaded..")
    elif models == 2:
        # TODO
        print("TO BE IMPLEMENTED!!!")
 

Это ссылка для ‘prithivida / grammar_error_correcter_v1’: https://huggingface.co/prithivida/grammar_error_correcter_v1/tree/main

Это изображение содержимого папки локально: содержимое локальной папки

Это ошибка, с которой я сталкиваюсь, когда, как указано выше, локально или даже пытаюсь извлечь из ‘prithivida / grammar_error_correcter_v1’: Скриншот ошибки использования модели с самостоятельным определением класса gramformer

Спасибо за вашу помощь!