Блог

Я пытаюсь понять алгоритмы PCA и K-Means, чтобы извлечь некоторые релевантные функции из набора функций.

Я не знаю, какая отрасль информатики изучает эти темы, кажется, в Интернете нет хороших ресурсов, просто какая-то статья, которую я плохо понимаю. Пример бумаги http://www.ifp.illinois.edu /~qitian/e_paper/icip02/icip02.pdf

У меня есть csv-файлы с пошаговыми обходами, составленные следующим образом:

• ВРЕМЯ, X, Y, Z, эти значения регистрируются акселерометром

Что я сделал

• Я преобразовал набор данных в виде таблицы в Python
• Я использовал tsfresh, библиотеку Python, для извлечения из каждого блуждания вектора функций, этих функций много, 2k функций из каждого блуждания.
• Я должен использовать PFA, анализ основных функций, чтобы выбрать соответствующие функции из набора векторных функций

Чтобы выполнить последний пункт, я должен уменьшить размерность набора объектов, проходящих с помощью PCA (PCA сделает данные отличными от исходных, потому что он изменяет данные с помощью собственных векторов и собственных значений ковариационной матрицы исходных данных). Здесь у меня есть первый вопрос:

• Как должен выглядеть ввод PCA? Строки — это количество проходов, а столбцы — объекты или наоборот, так что строки — это количество объектов, а столбцы — количество проходов pepole?

После того, как я уменьшил эти данные, я должен использовать алгоритм K-средних для уменьшенных данных «функций». Как должны выглядеть входные данные в K-средних? И каково предложение по использованию этого алгоритма? Все, что я знаю об этом алгоритме, он используется для «кластеризации» некоторых данных, поэтому в каждом кластере есть несколько «точек», основанных на некотором правиле. То, что я сделал и думаю, это:

• Если я использую в PCA ввод, который выглядит следующим образом: строки — это количество переходов, а столбцы — количество объектов, то для K-Means я должен изменить столбцы со строками, потому что таким образом каждая точка является функцией (но это не исходные данные с функциями, это просто сокращенный, поэтому я не знаю). Итак, для каждого кластера я вижу с евклидовым расстоянием, у которого меньшее расстояние от центра тяжести, и выбираю эту функцию. Итак, сколько кластеров я должен объявить? Если я объявлю, что кластеры совпадают с количеством функций, я всегда буду извлекать одинаковое количество функций. Как я могу сказать, что точка в приведенных данных соответствует этой функции в исходном наборе функций?

Я знаю, что это неправильно, что я говорю, может быть, но я пытаюсь это понять, может кто-нибудь из вас мне помочь? Если я на правильном пути? Спасибо!

Для PCA убедитесь, что вы разделяете понимание метода, используемого алгоритмом (собственные векторы и тому подобное), и результата. Результатом является линейное отображение, отображающее исходное пространство A A' , где, возможно, размерность (количество объектов в вашем случае) меньше исходного пространства A .

Итак, первая функция / элемент в пространстве A' представляет собой линейную комбинацию функций A .

Строка / столбец зависит от реализации, но если вы используете scikit PCA, столбцы являются функциями.

Вы можете передать выходные данные PCA, A' пространство, в K-means, и они будут группироваться на основе пространства обычно уменьшенной размерности.

Каждая точка будет частью кластера, и идея заключается в том, что если вы будете вычислять K-Means on A , вы, вероятно, получите те же / похожие кластеры, что и with A' . В вычислительном A' отношении это намного дешевле. Теперь у вас есть кластеризация, на A' и A . Поскольку мы согласны с тем, что точки, похожие по A' , также похожи по A .

На количество кластеров трудно ответить, если вы ничего не знаете, выполните поиск по методу elbow. Но, скажем, вы хотите получить представление о разных типах things , которые у вас есть, я утверждаю, что 3 ~ 8 и не слишком много, сравните 2-3 точки, ближайшие к каждому центру, и у вас есть что-то расходуемое. Количество объектов может быть больше, чем количество кластеров. например, если мы хотим узнать наиболее плотную область в некоторой области (2D), вы можете легко получить 50 кластеров, чтобы получить представление о том, где может быть 50 городов. Здесь у нас есть количество кластеров, намного превышающее размерность пространства, и это имеет смысл.