Блог

Не знаю, что вызывает это, но иногда я начинаю тренировать свою нейронную сеть, и ни один из моих весов не обновляется. Это происходит, возможно, 4 из 5 раз, когда я инициализирую свой скрипт. В другой 1 раз он обновляет все, как ожидалось, обучает и прогнозирует, как ожидалось. У кого-нибудь есть какие-нибудь идеи, почему это происходит? Началось с того, что я изменил свою функцию потерь, если это уместно. Вот основная часть моего цикла обучения, дайте мне знать любой другой соответствующий код, который я должен включить.

 def train(model, train_loader, test_loader, test_data, full_test, args, epochs, early_stop=5):
    t0 = time()
    optimizer = Adam(model.parameters(), lr=args.lr)
    lr_decay = lr_scheduler.ExponentialLR(optimizer, gamma=args.lr_decay)
    best_val_acc, best_mae = 0, 500
    for epoch in range(epochs):
        model.train()
        ti = time()
        training_loss = 0.0
        for i, (x, y) in enumerate(train_loader):
            x, y = Variable(x.cuda()), Variable(y.cuda())
            y_pred = model(x, y)
            loss = mae_loss(y, y_pred)   rmse_loss(y, y_pred)
            loss.backward()
            training_loss  = loss.detach() * x.size(0)
            optimizer.step()
            optimizer.zero_grad()
        lr_decay.step()
 

Я считаю, что, безусловно, наиболее вероятная проблема заключается в том, что ваша функция потерь возвращает что-то неправильное. Попробуйте распечатать первые несколько потерь, чтобы увидеть, что это такое, и убедиться, что они соответствуют разумным и правильным типам данных и форме. Одна из возможных причин, по которой веса не обновляются, если ваши потери кажутся нормальными, заключается в том, что скорость обучения слишком низка для ваших потерь, и веса меняются на такую небольшую величину, что они либо округляются, либо не видны.