Как установить размер словаря в библиотеке токенизаторов python?

#python #machine-learning #nlp #huggingface-tokenizers Вопрос: Я хотел бы установить свой собственный токенизатор и использовать его в дальнейшем для предварительно обученной модели, однако при установке нового токенизатора, похоже, нет способа выбрать…