Существуют ли какие-либо методы извлечения объектов, основанные на взаимной информации?

#feature-extraction #information-theory

#извлечение объектов #теория информации

Вопрос:

Я получил набор данных D = {X, y}, который имеет 800 входных объектов и один непрерывный вывод. Я ищу любые методы извлечения объектов, которые удовлетворяют двум условиям

(1) Коды Matlab доступны для загрузки

(2). Метод должен каким-то образом сопоставлять входные данные x с преобразованными входными данными z, где z — вектор d, (d<<800), так что взаимная информация между z_i и y как можно выше.

Я думаю, что методы должны относиться к CCA, однако при выполнении CCA (X, y) я получу вектор z, который имеет только одно измерение. Я надеюсь, что у методов должны быть опции для выбора лучших общих функций, таких как PCA.

Спасибо,

Ответ №1:

Это формулировка проблемы «информационной стыковки», которая в некоторых случаях может быть решена в EM-подобном итерационном алгоритме или эвристически с помощью жадного, агломеративного процесса кластеризации.

Полезные ссылки:

Действительно, это глубоко связано с CCA; при определенных предположениях о проблеме (т. Е. Гауссовости) Это соотношение можно сделать точным (см. Ссылку на Википедию и эту статью).

Комментарии:

1. Привет, Uri, очень полезное предложение. Я действительно ценю вашу помощь!