#machine-learning #neural-network #artificial-intelligence #data-analysis
#машинное обучение #нейронная сеть #искусственный интеллект #анализ данных
Вопрос:
Каковы некоторые из причин того, что нейронная сеть (прямая передача) может иметь общую тенденцию к превышению реального выходного значения, а не к занижению, и наоборот?
В качестве примера, на рисунке ниже (справа) показано почти идеальное распределение ошибок прогнозирования по Гауссу, однако, похоже, что нейронная сеть склонна прогнозировать значения, превышающие фактическое значение: 
Комментарии:
1. Какова цель левого графика? Похоже, что основная истина и прогнозы очень хорошо согласуются…
2. @gtancev игнорируйте левый график. Правильный график представляет интерес и служит примером для моего вопроса
Ответ №1:
Только превышение / занижение может произойти, если в данных есть смещение, но у вас нет постоянного члена (в NNs, называемого «смещением») в вашей модели, чтобы компенсировать это. Это не проблема, если вы сначала центрируете свои данные. (Что также происходит в NN, особенно в глубоких, так это то, что дисперсия увеличивается слой за слоем, а распределение расширяется, поскольку дисперсия переменной Y = aX равна V (Y) = a ^ 2 * V (X).)
Выбросы по обе стороны от среднего значения также могут привести к повороту (на вашем левом графике), что означает, что малые значения завышены / занижены, а большие значения занижены / завышены, в зависимости от точного положения выбросов.
Однако на вашем правом графике ошибка прогнозирования настолько меньше, чем значения Y, что это может быть просто проблема с числовой / машинной точностью.
Я надеюсь, что смогу вам помочь.