Блог

Следующий код является кодом tensorflow для создания модели. Для меня было бы действительно полезно иметь точную альтернативную реализацию keras этого кода:

 logits = tf.matmul(output_layer, output_weights, transpose_b=True)
logits = tf.nn.bias_add(logits, output_bias)
probabilities = tf.nn.softmax(logits, axis=-1)
log_probs = tf.nn.log_softmax(logits, axis=-1)
one_hot_labels = tf.one_hot(labels, depth=num_labels, dtype=tf.float32)
per_example_loss = -tf.reduce_sum(one_hot_labels * log_probs, axis=-1)
loss = tf.reduce_mean(per_example_loss)
  

Особенно меня смущают потери и оптимизатор, какой тип потерь здесь используется. Может ли следующий код быть альтернативой в keras:

 sequence_input = Input(shape=(768,), dtype='float32')
preds = Dense(2, activation='softmax')(sequence_input)
model = Model(sequence_input, preds)
model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['acc'])