Блог

Когда я читаю статьи, в которых упоминается языковая модель, я путаюсь с понятием «контекст». Я прочитал код модели языка transformer. Я думаю, это просто длина последовательности или размер bptt, я прав? Например, в этом случае он использует контекст длины 2.

Изменить: добавьте функцию get_batch:

 bptt = 35
def get_batch(source: Tensor, i: int) -> Tuple[Tensor, Tensor]:
    """
    Args:
        source: Tensor, shape [full_seq_len, batch_size]
        i: int
    Returns:
        tuple (data, target), where data has shape [seq_len, batch_size] and
        target has shape [seq_len * batch_size]
    """
    seq_len = min(bptt, len(source) - 1 - i)
    data = source[i:i seq_len]
    target = source[i 1:i 1 seq_len].reshape(-1)
    return data, target