Блог

Я пытаюсь использовать модель XLM-Роберты для задания повторного ранжирования. Однако для одноязычной задачи по английскому языку БЕРТ сошелся и вернул лучшие баллы во время оценки. Однако замена его на XLM-модель Роберты даже не сошлась. Также я обнаружил, что bert tokenizer возвращает диктант с 3 ключами (input_ids, token_type_ids и attention_masks). Однако XLM-Roberta возвращает dict только с 2 ключами (input_ids и attention_masks). Есть ли какой-либо способ разделить пару вводимого текста на модель XLM-Роберта. И может ли это быть причиной того, что модель не сходится ?