Метод главных компонент

Основные понятия и определения

Во многих задачах обработки многомерных наблюдений, в частности задачах классификации, исследователей интересуют те признаки, которые обнаруживают наибольшую изменчивость (пример, при классификации “семей-потребителей”). С другой стороны, для описания состояния объекта не обязательно непосредственно использовать замеренные на нём признаки (пример: определение специфики фигуры при покупке одежды).

Эти соображения положены в основу того линейного ортонормированного преобразования исходной системы признаков X = (x⁽¹⁾ ,…,x^(p) ), которое приводит к выделению так называемых главных компонент. В этом случае из (1.1) имеем Z=F(x)=LX(2.1), где

(2.2) матрица порядка (p´p), строки которой удовлетворяют условиям ортонормированности:

(2.3)

Здесь и дальше в виде исключения мы будем изначально считать вектора строк матрицы L

- векторами-строками.

Тогда при p'<p: Z_p' =F_p' (x)= L_p' X, (2.1')

где

(2.2’)

- матрица порядка (p'´p), составленная из p' первых строк матрицы L (2.2), такая, что в

соответствии с (1.2) J_p' ()=max J_p' (Z_p' =L_p' X) (2.4), а L_p' ÎF_p'.

Явный вид функционала (2.4) будет указан ниже. F_p' -совокупность матриц (2.2). Полученные таким образом переменные и называются главными

компонентами вектора X.

В рамках вероятностно-статистического подхода мы полагаем анализируемый признак

X = (x⁽¹⁾ ,…,x^(p) ) случайной величиной, имеющей p-мерное распределение, с вектором средних

MX = a=(a⁽¹⁾ ,…,a^(p) ), где a^(s) = Mx^(s), , и матрицей ковариации

Тогда исследуемые наблюдения , понимаются как выборка из

указанного распределения и используются для получения оценок â и вектора a и матрицы Σ, если последние не известны. Не ограничивая общности, в дальнейшем будем считать, что вектор средних a=0. Этого можно добиться центрированием координат вектора X x^(s), координат a^(s) вектора a, или (в статистической практике) их выборочными несмещёнными оценками

При этом, как известно, матрица ковариации центрированных переменных снова будет равна

Σ=║σ^(sr)║ (элементы σ^(sr) остануться прежними).

Дадим определение главных компонент и тем самым зададим алгоритм их нахождения.

Определение 1. Первой главной компонентой z⁽¹⁾(x) исследуемой системы показателей

(x⁽¹⁾ ,…,x^(p) )=X, называется такая нормированная центрированная линейная комбинация (НЦЛК)

этих показателей, которая среди всех прочих НЦЛК этих показателей обладает

наибольшей дисперсией.

Определение 2. K-ой главной компонентой z^(k)(x) исследуемой системы показателей

x⁽¹⁾ ,…,x^(p) )=X, называется такая нормированная центрированная линейная комбинация(НЦЛК)

этих показателей, которая не коррелированна с k-1 предыдущими главными компонентами

z⁽¹⁾(x),…, z^(k-1)(x) и среди всех прочих НЦЛК (не коррелированных с z⁽¹⁾(x),…, z^(k-1)(x))

обладает наибольшей дисперсией.

Выбор такого алгоритма получения главных компонент, а также выбор меры информативности

J_p' (2.4), как будет показано ниже, обусловлен некоторыми свойствами определённых таким

образом главных компонент.

Замечание. Использование метода главных компонент наиболее естественно и плодотворно

в тех случаях, когда все признаки x^(s), , имеют общую физическую природу и

соответственно измерены в одних и тех же единицах: структура бюджета времени индивидуумов

(все x^(s) - в единицах времени), структура потребления семей (все x^(s) в денежных

единицах), антропологические исследования (все x^(s) – единицы длины).

Если же признаки x^(s) измерены в разных единицах, то в подобных ситуациях исследователь

должен предварительно перейти к вспомогательным безразмерным признакам

Тогда ковариантная и выборочная ковариантная

матрицы будут являться коррелированной и выборочно коррелированной матрицам .

Дата добавления: 2015-07-24