Блог

Итак, я знаю, что для составления прогнозов на основе модели слои отсева не будут включены, потому что это делает модель неправильной по назначению. Однако будут ли эти слои по-прежнему применяться в тестах данных проверки для каждой эпохи или нет?

Цель отсева — гарантировать, что модель в конечном итоге не будет слишком сильно зависеть от набора узлов, игнорируя другие узлы почти полностью (что приводит к переоснащению) и вместо этого заставляет модель зависеть от всех узлов в сети. Это делается путем применения битовой маски (0 и 1 с заданной пропорции отсева) к входным данным узлов во время процесса обучения для этого слоя. Это аналогично отключению процента нейронов во время обучения, поэтому модель теперь вынуждена минимизировать потери, в зависимости от узлов, которые в настоящее on время. Эта битовая маска обновляется для каждого пакета.

Проверка выполняется для данных, не входящих в выборку, и представляет собой задачу вывода, а не задачу обучения. В конце каждой эпохи, как только градиенты обновляются после обхода пакетов из полного набора данных, на основе данных проверки делается вывод. Это включает в себя прямое вычисление ПОЛНОГО ГРАФИКА и игнорирует отсевы, поскольку они использовались только для упорядочивания модели во время обучения.

TLDR;

• Вопрос: Применяются ли слои отсева к данным проверки в Keras?
• Ответ: Нет.

Ссылка на документацию Keras —

Обратите внимание, что уровень отсева применяется только тогда, когда для обучения установлено значение True, так что никакие значения не отбрасываются во время вывода.