Как объединить функции, извлеченные из двух моделей cnn?

#python #tensorflow #machine-learning #keras #feature-extraction

#python #тензорный поток #машинное обучение #keras #извлечение функций

Вопрос:

у меня есть две модели cnn, обе следуют одной и той же архитектуре. Я обучил «набор поездов 1» на cnn1 и «набор поездов 2; на cnn2.Затем я извлек функции, используя следующий код.

# cnn1

     model.pop() #removes softmax layer
    model.pop() #removes dropoutlayer
    model.pop() #removes activation layer
    model.pop() #removes batch-norm layer
    model.build() #here lies dense 512
    features1 = model.predict(train set 1)
    print(features1.shape) #600,512
 

# cnn2

     model.pop() #removes softmax layer
    model.pop() #removes dropoutlayer
    model.pop() #removes activation layer
    model.pop() #removes batch-norm layer
    model.build() #here lies dense 512
    features2 = model.predict(train set 2)
    print(features2.shape) #600,512
 

Как объединить эти функции 1 и функции 2, чтобы форма вывода была 600,1024?

Ответ №1:

ПРОСТЕЙШЕЕ РЕШЕНИЕ:

вы можете просто объединить выходные данные двух сетей таким образом:

 features = np.concatenate([features1, features2], 1)
 

АЛЬТЕРНАТИВА:

учитывая две обученные модели, которые имеют одинаковую структуру, какими бы ни были их структуры, вы можете объединить их таким образом

 # generate dummy data
n_sample = 600
set1 = np.random.uniform(0,1, (n_sample,30))
set2 = np.random.uniform(0,1, (n_sample,30))

# model 1
inp1 = Input((30,))
x1 = Dense(512,)(inp1)
x1 = Dropout(0.3)(x1)
x1 = BatchNormalization()(x1)
out1 = Dense(3, activation='softmax')(x1)
m1 = Model(inp1, out1)
# m1.fit(...)

# model 2
inp2 = Input((30,))
x2 = Dense(512,)(inp2)
x2 = Dropout(0.3)(x2)
x2 = BatchNormalization()(x2)
out2 = Dense(3, activation='softmax')(x2)
m2 = Model(inp2, out2)
# m2.fit(...)

# concatenate the desired output
concat = Concatenate()([m1.layers[1].output, m2.layers[1].output]) # get the outputs of dense 512 layers
merge = Model([m1.input, m2.input], concat)

# make combined predictions
merge.predict([set1,set2]).shape  # (n_sample, 1024)