Блог

Я создаю модель тензорного потока, которая будет иметь несколько входных данных переменного размера с нулевым заполнением, используемым для доведения входных данных меньшего размера до стандартного размера ввода. Я также намерен использовать какое-то снижение веса (регуляризация L1/L2).

Меня беспокоит то, что во время обучения всякий раз, когда поступает дополненный ввод, веса, ведущие из нулевых входов, будут продолжать уменьшаться из-за любой регуляризации, которую я использую. В идеале я хотел бы отключить регуляризацию L1/L2 для весов, которые не имеют градиента из-за нулевых входов. Есть ли способ заставить TF сделать это? Отключение обновлений веса для этих весов также будет работать.