Блог

Я извлекаю два отклика функций из двух отдельных фреймворков машинного / глубокого обучения. Теперь у меня есть две матрицы, которые имеют размеры NxF, где N — количество выборок, а F — количество функций. Я хочу провести сравнение того, насколько похожи изученные функции. Я пробовал несколько способов, но основная идея заключается в использовании корреляции (пробовал Pearson и Spearman) для сопоставления откликов функций в матрице FxF. Затем я беру абсолютное значение max по одной оси, а затем вычисляю среднее из этих максимальных значений. На самом деле у меня есть несколько фреймворков, которые я хотел бы сравнить, но я получаю очень похожие результаты. Кто-нибудь делал это? У кого-нибудь еще есть предложения получше? Мой пример кода приведен ниже.

 from scipy.stats import spearmanr
import numpy as np

def similarity(resp1, resp2):
    rho, p = spearmanr(resp1,resp2)
    corr = rho[:resp1.shape[1],resp1.shape[1]:]
    sim_mtrx = np.abs(corr)
    feature_match = np.max(sim_mtrx,axis=1)
    return np.mean(feature_match)
  

Кто-нибудь делал это? У кого-нибудь еще есть предложения получше? Мой пример кода приведен ниже.

Честно говоря, это не имеет смысла. Почему? Потому что в таких вещах, как deep nets, нет упорядочения функций. Следовательно, сравнение, которое вы проводите, не может быть использовано для того, чтобы сделать какие-либо разумные выводы. Ваша матрица N x F , вероятно, является вашей матрицей веса из вашего первого уровня. Следовательно, каждый из векторов (столбцов) этих матриц представляет один нейрон. Хитрость в том, что i -й нейрон в одной сети (обученный с помощью одного фреймворка) может не иметь ничего общего с i -м нейроном в другой, хотя он может быть идентичен j -му. Например, рассмотрим сеть, обученную на изображениях с помощью F=3 , вы можете обнаружить, что эти нейроны научились распознавать горизонтальные (нейрон 1), вертикальные (нейрон 2) линии и, возможно, круг (нейрон 3). Теперь вы снова тренируетесь, либо с другим фреймворком, либо даже с тем же самым, но другим случайным исходным кодом. Теперь, даже если эта вторая сеть изучает точно то же самое — для определения горизонтальной линии, вертикальной и круга — но просто в разных нейронах (например, horizontal-2, vertical-3, circle-1), ваш метод будет утверждать, что это совершенно разные модели, что, очевидно, неверно. Проблема «наличия похожих представлений» сама по себе является направлением исследований.

Минимум, что вам нужно сделать, это найти наилучшее соответствие между нейронами в двух сетях, прежде чем применять базовый анализ, который вы предлагаете. Вы можете сделать это методом перебора (F ^ 2 возможных сопоставления, просто выберите то, которое претендует на наибольшее сходство) или использовать что-то вроде венгерского алгоритма для поиска идеального соответствия.

Самое важное — сохранить сравнение ссылок, чтобы избежать проблем, подобных описанным выше, поэтому вместо обучения одной модели для каждого фреймворка, обучите по крайней мере 2 для каждого фреймворка. И теперь вместо того, чтобы утверждать, что «методы A и B создают (dis) похожие представления, потому что представления, сгенерированные в результате одного эксперимента с A и B, (dis) похожи», вы должны проверить, существует ли статистически значимая разница между (dis) сходством между двумя запусками (с разными начальными значениями) одного и того же алгоритма и отдельными запусками двух разных алгоритмов, другими словами:

• у вас есть 2 алгоритма A, B (фреймворки)
• вы создаете представления A1, A2, B1, B2
• вы проверяете, является ли mean(sim (A1, A2), sim(B1, B2)) != mean(sim (A1, B1), sim(A2, B2)) (в то время как ранее вы просто проверяли, является ли sim (A1, B1) «большим»)

Обновить

Просто чтобы показать, почему рассмотренная метрика неверна, давайте используем ее на:

 >>> x
array([[0, 3, 6],
       [1, 4, 7],
       [2, 5, 8]])
>>> y
array([[ 6,  0,     0],
       [ 7, -1,  -123],
       [ 8,  0,  1000]])
>>> similarity(x,y)
1.0
  

В итоге вы получаете всего одно совпадение, вам все равно, что 90% данных совершенно разные — вы все равно сообщаете о максимальном сходстве.