Блог

В настоящее время я занимаюсь семантической сегментацией, однако у меня действительно небольшой набор данных,

У меня есть только около 700 изображений с увеличением данных, например, перелистывание могло бы

пусть будет 2100 изображений.

Не уверен, что этого достаточно для моей задачи (семантическая сегментация с четырьмя

классы).

Я хочу использовать пакетную нормализацию и мини-пакет градиентный спуск

Что действительно заставляет меня чесать голову, так это то, что если размер пакета слишком мал,

пакетная нормализация работает плохо, но с большим размером пакета,

кажется, это эквивалентно полному пакетному градиентному спуску

Интересно, есть ли что-то вроде стандартного соотношения между количеством выборок и размером пакета?

Позвольте мне сначала обратиться ко второй части вашего вопроса «стратегия для нейронной сети с небольшим набором данных». Возможно, вы захотите взять предварительно обученную сеть на большем наборе данных и точно настроить эту сеть, используя свой меньший набор данных. Смотрите, например, это руководство.

Во-вторых, вы спрашиваете о размере пакета. Действительно, меньший пакет данных заставит алгоритм блуждать вокруг оптимального, как при классическом стохастическом градиентном спуске, признаком которого являются шумные колебания ваших потерь. В то время как при большем размере пакета обычно наблюдается более «плавная» траектория к оптимальной. В любом случае, я предлагаю вам использовать алгоритм с импульсом, такой как Adam. Это помогло бы конвергенции вашего обучения.

Эвристически размер пакета может быть таким большим, какой может вместить память вашего графического процессора. Если объем памяти графического процессора недостаточен, то размер пакета уменьшается.