Блог

Я тренирую модель LSTM без состояния для одномерного прогнозирования временных рядов со 150 нечетными наблюдениями(я знаю, что это гораздо меньшее число). Я использую размер пакета 1, данные о поездах составляют до 145 наблюдений, а данные проверки-всего 5 наблюдений. Я использую сложенный LSTM с (128, 32) нейронами в последовательных слоях. Использование nadam со скоростью обучения 0,01. Также применяется ранняя остановка с терпением=300. (Общее количество эпох = 1000).

Проблема в том, что потери при обучении и проверке очень сильно колеблются в течение итераций. Есть идеи, как стабилизировать эту производительность?

Потеря поезда-вал