какой токенизатор использовать

#python #nlp #huggingface-transformers #huggingface-tokenizers Вопрос: Я пытаюсь обобщить текст с помощью huggingface T5. Я запускаю аналогичный код для БАРТА без проблем. С T5 я получаю : Исключение: Невозможно угадать, какой…