Блог

У меня странное представление, которое я не могу объяснить. Во время обучения моей сети и после того, как я закончу с вычислением моей обучающей партии, я также непосредственно перейду к набору проверки, возьму партию и протестирую на ней свою модель. Таким образом, моя проверка не выполняется на этапе, отличном от обучения. Но я просто запускаю пакет обучения, а затем также пакет проверки.

Мой код выглядит примерно так:

 for (data, targets) in tqdm(training_loader):
output = net(data)
log_p_y = log_softmax_fn(output)
loss = loss_fn(log_p_y, targets)

# Do backpropagation

val_data = itertools.cycle(val_loader)
valdata, valtargets = next(val_data)
val_output = net(valdata)
log_p_yval = log_softmax_fn(val_output)
loss_val = loss_fn(log_p_yval, valtargets)
 

В конце концов, я вижу, что моя модель обладает как очень хорошей обучаемостью, так и точностью проверки в разные эпохи. Однако по тестовым данным это не так хорошо. Более того, потеря валидации примерно вдвое превышает потерю при обучении.

В чем могут быть причины низкой точности тестирования в конце? Я буду рад, если кто-нибудь сможет объяснить, что я испытываю, и порекомендовать некоторые решения 🙂

Вот картина потерь при обучении и проверке.

А вот изображение точности обучения и проверки.

Я почти уверен, что причина в непредставительном наборе данных проверки.

Непредставительный набор данных проверки означает, что набор данных проверки не предоставляет достаточной информации для оценки способности модели к обобщению. Это может произойти, если в наборе данных проверки слишком мало примеров по сравнению с обучающим набором данных. Убедитесь, что ваши данные для обучения и тестирования выбраны случайным образом и как можно точнее отражают одно и то же распределение и реальное распределение.

Каковы размеры вашего набора данных для обучения, тестирования и валидации?

Похоже, что здесь проблема в чрезмерной подгонке,которую вы можете проверить, используя методы регуляризации, такие как L1, L2 или Отсев.