#tensorflow #tensorflow2.0
Вопрос:
Я пытаюсь реализовать уровень прямой передачи(тот, что в механизме внимания) в TF2, говоря, что у меня есть оценки внимания z1, z2
z1: [2, 2] z2: [3, 3] Конечно, я могу реализовать его во многих тензорах и слоях,
f1 = Dense(z1) f2 = Dense(z2) - Уровень прямой передачи: нет связи между путями z1, z2, что означает
z1, f2, что они не связаны.
Но я хочу ускорить их с помощью одноразового вычисления матрицы, что означает , что теперь есть Z , укладка z1, z2 ,
Z: [2, 2] [3, 3] Конечно, я мог бы сделать это с помощью тензорного среза, сделать это z1, z2 и сделать то же самое выше, сложить их после этого, но производительность такая же, как и выше.
Так можно ли реализовать это в одном слое?