Как токенизатор BERT приводит к форме входного тензора (b 24 768)?

#deep-learning #nlp #tokenize #bert-language-model #глубокое обучение #nlp #токенизация #bert-language-model Вопрос: Я понимаю, как работает токенизатор BERT, благодаря этой статье: https://albertauyeung.github.io/2020/06/19/bert-tokenization.html Однако я не понимаю, как это заканчивается как конечная форма…