#julia #flux.jl
Вопрос:
Моя нынешняя модель страдает от чрезмерной подгонки. Я хочу иметь возможность добавить отсев в свою модель, чтобы предотвратить переобучение, отключив некоторые нейроны. Я читал эту статью об отсеве, в которой упоминалось, что вы обычно хотите, чтобы отсев происходил во время прямых и обратных проходов. Однако, когда я читал раздел документов Flux.jl о выпадении, в нем упоминалось Dropout , что слой является только частью прямого прохода. Есть ли способ, которым я могу использовать эту функцию или другие подобные функции для отсева как при прямом, так и при обратном проходе?
Комментарии:
1. Если вы установите нейроны равными 0 при прямом проходе, разве их производная не будет равна 0 при обратном проходе? Таким образом, то, о чем вы просите, совпадает с тем, что делает Flux? Они просто не утруждают себя их отключением, так как математика в любом случае внесла бы изменения в 0?
2. Это звучит разумно! Я не эксперт в ML, поэтому не уверен, что знаю ответ, но это звучит справедливо.