Преобразование областей на уровне символов в области на уровне токенов

#python #huggingface-transformers Вопрос: В настоящее время я пытаюсь преобразовать промежутки уровня символов в промежутки уровня токенов и задаюсь вопросом, есть ли в библиотеке функциональность, которой я, возможно, не воспользуюсь. Данные,…