Блог

Для обучения с подкреплением я прочитал, что tensorboard не идеален, поскольку он предоставляет входные данные для каждого эпизода и / или шага. Поскольку в обучении с подкреплением есть тысячи шагов, это не дает нам общего представления о содержании. Я видел этот модифицированный класс tensorboard здесь: https://pythonprogramming.net/deep-q-learning-dqn-reinforcement-learning-python-tutorial /

класс:

 class ModifiedTensorBoard(TensorBoard):
    # Overriding init to set initial step and writer (we want one log file for all .fit() calls)
    def __init__(self, name, **kwargs):
        super().__init__(**kwargs)
        self.step = 1
        self.writer = tf.summary.create_file_writer(self.log_dir)
        self._log_write_dir = os.path.join(self.log_dir, name)

    # Overriding this method to stop creating default log writer
    def set_model(self, model):
        pass

    # Overrided, saves logs with our step number
    # (otherwise every .fit() will start writing from 0th step)
    def on_epoch_end(self, epoch, logs=None):
        self.update_stats(**logs)

    # Overrided
    # We train for one batch only, no need to save anything at epoch end
    def on_batch_end(self, batch, logs=None):
        pass

    # Overrided, so won't close writer
    def on_train_end(self, _):
        pass

    def on_train_batch_end(self, batch, logs=None):
        pass

    # Custom method for saving own metrics
    # Creates writer, writes custom metrics and closes writer
    def update_stats(self, **stats):
        self._write_logs(stats, self.step)

    def _write_logs(self, logs, index):
        with self.writer.as_default():
            for name, value in logs.items():
                tf.summary.scalar(name, value, step=index)
                self.step  = 1
                self.writer.flush()
  

и я хотел бы заставить его работать с этим слоем:

 n_actions = env.action_space.n
input_dim = env.observation_space.n
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(20, input_dim = input_dim , activation = 'relu'))#32
model.add(tf.keras.layers.Dense(10, activation = 'relu'))#10
model.add(tf.keras.layers.Dense(n_actions, activation = 'linear'))
model.compile(optimizer=tf.keras.optimizers.Adam(), loss = 'mse')
  

Но мне еще предстоит заставить его работать. Кто-нибудь, кто работал с tensorboard раньше, знает, как это настроить? Мы высоко ценим любую информацию.

Я всегда использую tensorboard во время обучения алгоритмам RL без какого-либо модифицированного кода, подобного приведенному выше. Просто запустите программу writer:

 writer = tf.summary.create_file_writer(logdir=log_folder)
  

Начните свой код с:

 with writer.as_default():
    ... do everythng indented inside here 
  

И, например, если вы хотите сэкономить вознаграждение или веса вашего первого слоя для tensorboard, каждые 100 шагов просто делайте:

 if step % 100 = 0:
    tf.summary.scalar(name="reward", data=reward, step=step)
    dqn_variable = model.trainable_variables
    tf.summary.histogram(name="dqn_variables", data=tf.convert_to_tensor(dqn_variable[0]), step=step)
    writer.flush()
  

Это должно сработать 🙂