#deep-learning #neural-network #resnet #activation-function #relu
Вопрос:
Я обучил ResNext50 распознаванию активности. Оригинальная архитектура сети включает в себя ReLU. Точность теста, которую я достиг с помощью оригинальной архитектуры, составляет 85%. Когда я заменяю все функции активации ReLU на Mish, точность резко снижается до q. Кстати, LeakyReLU показывает аналогичную точность теста с ReLU.
Я хочу знать, есть ли способ улучшить замену этой функции активации для достижения высокой точности ? Например: Я видел пример, когда и ReLU, и Mish использовались в одной и той же сети. Но я не знаю, как осторожно свести их вместе.