Блог

Главная - Вопросы по программированию - RNN без состояния против RNN с сохранением состояния — какой должна быть правильная batch_input_shape?

RNN без состояния против RNN с сохранением состояния — какой должна быть правильная batch_input_shape?

#recurrent-neural-network #layer #embedding #stateful

#рекуррентная нейронная сеть #слой #встраивание #с сохранением состояния

Вопрос:

модель RNN без состояния

 model = tf.keras.models.Sequential([
         tf.keras.layers.Embedding(input_dim=(vocab_size), output_dim=256,mask_zero=True),
         tf.keras.layers.GRU(units=1024), # stateful=True),
         tf.keras.layers.Dense(vocab_size)                           
])

эквивалент модели RNN с сохранением состояния

 model = tf.keras.models.Sequential([
         tf.keras.layers.Embedding(input_dim=(vocab_size), output_dim=256, batch_input_shape=(batch_size, None), mask_zero=True),
         tf.keras.layers.GRU(units=1024, stateful=True),
         tf.keras.layers.Dense(vocab_size)                           
])

версия без состояния работает нормально. версия с сохранением состояния выдает ошибку с неправильной формой ввода. для batch_size установлено значение 32. Любая помощь будет принята.

Заранее спасибо.