Сбой выделения памяти токенизатора HuggingFace BPE

#machine-learning #huggingface-tokenizers Вопрос: Я использую HuggingFace BPE tokenizer для обучения токенизатор в своем корпусе данных. Однако я постоянно получаю следующую ошибку: memory allocation of 16431366792 bytes failed . Я пробовал…