Блог

У меня есть нейронная сеть с плотностью LeNet-300-100 для набора данных MNIST, где я хочу заморозить первые два слоя, содержащие 300 и 100 скрытых нейронов в первых двух скрытых слоях. Я просто хочу обучить выходной слой. Код, который я должен сделать, следующий:

 from tensorflow import keras

inner_model = keras.Sequential(
    [
        keras.Input(shape=(1024,)),
        keras.layers.Dense(300, activation="relu", kernel_initializer = tf.initializers.GlorotNormal()),
        keras.layers.Dense(100, activation="relu", kernel_initializer = tf.initializers.GlorotNormal()),
    ]
)

model_mnist = keras.Sequential(
    [keras.Input(shape=(1024,)), inner_model, keras.layers.Dense(10, activation="softmax"),]
)

# model_mnist.trainable = True  # Freeze the outer model
# Freeze the inner model-
inner_model.trainable = False


# Sanity check-
inner_model.trainable, model_mnist.trainable
# (False, True)

# Compile NN-
model_mnist.compile(
    loss=tf.keras.losses.categorical_crossentropy,
    # optimizer='adam',
    optimizer=tf.keras.optimizers.Adam(lr = 0.0012),
    metrics=['accuracy'])
    
  

Однако, похоже, что этот код не замораживает первые два скрытых слоя, и они также обучаются. Что я делаю не так?

Спасибо!

Решение: Используйте параметр ‘trainable’ при определении модели нейронной сети, чтобы заморозить нужные слои модели следующим образом-

 model = Sequential()

model.add(Dense(units = 300, activation="relu", kernel_initializer = tf.initializers.GlorotNormal(), trainable = False))

model.add(Dense(units = 100, activation = "relu", kernel_initializer = tf.initializer.GlorotNormal(), trainable = False))

model.add(Dense(units = 10, activation = "softmax"))

# Compile model as usual