Построение оптимальных процедур классификации

Классифицируемые р-мерные наблюдения Х1,…..,Хn будем интерпретировать как выборку из объединенной ГС, описываемой смесью k классов (унимодальная генеральная совокупность плотностей или дискретных распределений)

k- задано,

p_j априорная вероятность появления в выборке элементов j-ой генеральной совокупности

Введем понятия процедуры классификации (решающую правила дискриминантной функции d(Х).

Функция p-переменных d(Х) может принимать только натуральные значения 1,2,…,k. Те значения Хs, s=1,n для которой d(Х1)=j мы будем относить к j-классу Sj. Таким образом, функция d(Х) задает разбиение р-мерного признакового пространства П^(p) на k непересекаемых областей.

где

таким образом, если X_s принадлежит V_j то относим его к j-ому классу.

Процедура классификации (дискриминантная функция d(Х) или разбиение V) называется байесовской (оптимальной), если она сопровождается минимальными потерями (7.2). Среди всех процедур классификации можно записать (7.2) как

С =С(d). Мы выбираем d таким, чтобы С(d) были минимальными:

Это означает, что наблюдения Хs, s = 1,n будет отнесено к классу j, тогда и только тогда когда средняя потеря от него отнесения именно к этому классу Sj.

Окажется минимальными по сравнению с аналогичными потерями, связанными с отнесением этого наблюдения в другой класс.

Действительно, из (7.2) можем получить что оптимальная процедура δ^опт или оптимальное разбиение определяется следующим образом:

(7.4)

если с(j/i)=c₀=const, i≠j, то из (7.4):

(7.5)

из этого следует (7.6)

Соотношение (7.4), (7.5), (7.6), дают лишь теоретическое оптимальное правило. Для его реализации необходимо знать априорные вероятности p₁,…,p_k и плотности (полигоны) f₁(u),…,f_k(u). На практике эти величины заменяются соответствующими оценками, построенными по имеющейся у исследователя обучающим выборкам.

Пусть имеются обучающие выборки, т.е. наблюдения про которые известно, что

разбиваем X₁,….,X_n соответственно О₁,…,О_n на k классов

n_об=n₁+…+n_k тогда

Иногда вероятности рj определяются априорно самой содержательной сутью задачей. Задача оценки плотностей f₁(Х),…,f_k(Х) задача разделяется на два случая:

1) Параметрический дискриминантный анализ f_j(X)=f(X,θ_j), j=1,k

θ_j – параметр (возможно многомерный)

θ_j оценивается по соответствующей выборке

2)Непараметрический дискриминантный анализ. Не предусматривает задание общего вида функций.(Использует оценки гистограммного типа)

Дата добавления: 2015-07-24