Блог

У меня просто есть очень общий вопрос о слоях отсева. Как часто обновляется «фильтрация» отсева?

Для каждого обучающего примера? Или для каждой мини-партии? Или для каждой эпохи?

Большое вам спасибо

Обычно для каждого обучающего примера.

Источник 1: слайды взято из Standford CS231n: сверточные нейронные сети для визуального распознавания:

Источник 2: http://www.deeplearningbook.org / — глава 7:

Каждый раз, когда мы загружаем пример в мини-пакет, мы случайным образом выбираем другую двоичную маску для применения ко всем входным и скрытым блокам в сети. Маска для каждого блока выбирается независимо от всех остальных

Я ожидаю, что изменение для каждого мини-пакета также должно быть в порядке. Однако я не думаю, что изменение для каждой эпохи является хорошей идеей (особенно для больших обучающих наборов).