Блог

Я слышал, как многие люди говорят о некоторых причинах, но они никогда по-настоящему не отвечают, следует ли это исправить или нет. Я проверил свой набор данных на наличие утечек и взял 20% для своего набора проверки случайным образом из набора данных TFRecords. Я начинаю подозревать, что в моей модели слишком много уровней регуляризации. Должен ли я уменьшить свою регуляризацию, чтобы строка проверки находилась поверх строки обучения? или это действительно имеет значение?

Нет ничего плохого в том, что потери при проверке ниже, чем потери при обучении. Это просто зависит от распределения вероятностей набора проверок. Если в вашей модели много отсева, это может быть легко, потому что потеря при обучении рассчитывается с учетом отсева. При расчете потери проверки отсев отключен. Проблема в том, что ваша точность обучения на приемлемом уровне. Если это не так, то уменьшите регуляризацию в модели.