Использование достаточных статистик

Фактически нахождение правила решения , удовлетворяющего одному или сразу нескольким рассмотренным выше принципам пред­почтения, представляет собой далеко не простую задачу. Это связано с тем, что даже задача отыскания байесова правила решения при от­сутствии априорной неопределенности, несмотря на существование об­щих рецептов, подчас оказывается слишком сложной из-за трудностей вычисления апостериорного риска в явной и вполне детализированной форме. В этом отношении большую пользу при решении конкретных задач приносит использование достаточных статистик (минимальных или хотя бы достаточно малой размерности), о которых шла речь в гл. 2. Дело в том, что для практических задач синтеза информационных си­стем характерно наличие большой размерности - в первую очередь, данных х, описывающих результаты наблюдения, - что существенно затрудняет получение окончательных замкнутых результатов. Использо­вание достаточных статистик резко понижает размерность задачи, что приносит существенное упрощение и при чисто байесовом подходе, а в задачах с априорной неопределенностью часто позволяет получить конкретные алгоритмы принятия решений, основанные только на до­статочных статистиках и являющиеся если не абсолютно оптимальными, то, по крайней мере, обладающие многими чертами оптимальности. Есте­ственно также, что при относительно малой размерности легче выявить условия существования строго или приближенно равномерно наилучше­го правила решения. Даже если эти условия не выполняются или не на­ходятся, то нахождение достаточных статистик способствует отысканию и пониманию структуры оптимального правила решения - функционального соответствия между данными наблюдения х и решением .Последнее обстоятельство позволяет целенаправленно и с пониманием существа дела ввести аппроксимацию зависимости , исключить возможные неизвестные параметры, делающие эту зависимость не впол­не определенной, и т. п. Таким образом, можно утверждать, что выяв­ление достаточных статистик малой размерности является если не обя­зательным, то весьма целесообразным элементом решения задачи синтеза в условиях априорной неопределенности.

Общее определение достаточных статистик и правила их нахожде­ния рассмотрены в § 2.6. Из этих результатов следует, в частности, что совокупность величин (4.2.7) является достаточной статистикой для решения задачи различения сигналов { }, наблюдаемых в смеси с гауссовой помехой произвольной (в том числе неизвестной) интенсивности. Если дополнить их еще одной величиной , то полученная совокупность будет достаточной статистикой для решения той же зада­чи уже с произвольными вероятностями появления сигналов и произ­вольной матрицей потерь , не равными 1/ m и соответствен­но, как в § 4.2.

Для задач синтеза в условиях априорной неопределенности особое значение имеют инвариантные достаточные статистики, то есть такие пре­образования , распределения вероятности которых одинаковы при любом распределении вероятности х из класса P_l. Если инвари­антная достаточная статистика существует, то можно ввести такое пре­образование , что функция правдоподобия, запи­санная в новых переменных , для всех элементов класса P_l, соответствующего имеющейся априорной неопределенности, может быть представлена в виде

, (4.5.1)

где - одинакова для всех P_l. Отсюда немедленно сле­дует, что апостериорное распределение одинаково для всех элементов P_l и, следовательно, априорная неопределенность является несущественной. Таким образом, отыскание инвариантной достаточной статистики фак­тически эквивалентно устранению первоначально имевшейся априорном неопределенности.

К сожалению, общие методы отыскания инвариантных или приближенно инвариантных достаточных статистик не разработаны, а сущест­вование строго инвариантных достаточных статистик - довольно редкое явление. Тем не менее, это понятие полезно, поскольку его использо­вание приводит к довольно быстрому решению достаточно сложных за­дач, среди которых выделяются двухальтернативные задачи с так назы­ваемой свободной альтернативой. Этот термин соответствует тому слу­чаю, когда одна из альтернативных ситуаций как-то задана (полностью или частично), а о второй вообще ничего не известно и она может быть совершенно произвольной (естественно, не совпадающей с заданной). Фактически подобные задачи отражают широкий круг практических потребностей, связанных с нахождением правил проверки какого-либо однозначно или многозначно заданного гипотетического предположения, когда альтернативой этому предложению может быть все, что угодно.

Рассмотрим для примера задачу, когда по результатам наблюдения в дискретных точках () требуется решить, содер­жит ли сигнал из заданного класса или нет. Пусть заданный класс удовлетворяет следующему описанию

: , (4.5.2)

где - известные функции времени; - произвольные неизвестные коэффициенты: 1 , - соответствующие векторы (столбцы) неизвестных коэффициентов и известных функций, т - знак транспортирования ( - вектор-строка). Данные наблюдения х представляют собой последовательность

, , (4.5.3)

где - гауссова некоррелированная помеха с дисперсией и нулевым математическим ожиданием. Альтернативой (4.5.2) может быть со­вершенно произвольный сигнал.

Функция правдоподобия при условии, что принадлежит классу (4.5.2) (будем считать, что этой ситуации соответствует (), имеет значение

(4.5.4)

(К. - несущественный нормировочный множитель) и зависит от сово­купности l неизвестных параметров . Значение функции правдоподобия для альтернативной ситуации () равно

, (4.5.5)

где - совершенно произвольный сигнал, и фактически вообще не­известно из-за неопределенности этого сигнала. Таким образом, мы име­ем двухальтернативную задачу с весьма большой априорной неопреде­ленностью.

Из-за крайней неопределенности во второй ситуации очевидно, что никакой нетривиальной достаточной статистики, кроме последователь­ности { }, для этой ситуации не существует. Для первой же ситуации существует весьма экономная (одномерная) достаточная статистика, распределение вероятности которой не зависит от неизвестных парамет­ров , создающих априорную неопределенность в этой ситуации. Действительно, (4.5.4) можно преобразовать к виду

, (4.5.6)

где

(4.5.7)

- оптимальная линейная оценка вектора ;

(4.5.8)

- положительно определенная матрица порядка { }. Нетрудно убе­диться, что распределение вероятности одномерной статистики

(4.5.9)

не зависит от значений неизвестных параметров , поэтому величина из (4.5.9) обладает свойством инвариантности, и всякое правило реше­ния, использующее только эту величину, будет иметь вероятность оши­бочно отвергнуть исходную гипотезу о принадлежности сигнала классу (4.5.2), одинаковую при любых значениях , то есть для всех представителей этого класса.

Остальные статистик , через которые совместно с выра­жается функция правдоподобия (4.5.6), несут информацию только о зна­чениях неизвестных параметров , уточняя тем самым вид сигнала в пределах класса (4.5.2). Исходя из этого, а также из полной неопре­деленности для альтернативной ситуации, кажется достаточно правдо­подобным, что оптимальное правило решения о соответствии сигнала , наблюдаемого в смеси с гауссовой помехой, заданному классу (4.5.2) должно использовать только статистику из (4.5.9). Разными способами, например, на основе понятия равномерно наиболее мощного критерия для гипотезы со свободной альтернативой, применением минимакса и развиваемыми ниже методами, можно доказать, что эта действительно так, и оптимальное правило принятия решения следую­щее: принимается, что сигнал принадлежит классу (4.5.2), если

, (4.5.10)

где С - некоторый порог сравнения, который определяется из дополни­тельных соображений, например, так, чтобы вероятность ошибочно отвергнуть исходную гипотезу имела заданное значение (в силу инвари­антности статистики одинаковое для всевозможных значений ).

Аналогичными свойствами строгой или приближенной инвариант­ности и достаточности обладают статистики, формируемые при использовании известных непараметрических критериев согласия Колмогорова, Смирнова, Мизеса, хи-квадрат и т. д., применяемых в задачах со свободной альтернативой для проверки гипотезы о соответствии данных наблюдения заданному распределению вероятности либо о его неиз­менности для двух совокупностей наблюденных данных. Исследованию свойств этих статистик посвящена обширная литература, поэтому ограничимся только упоминанием о них.

Приведем еще пример, иллюстрирующий свойство достаточных ста­тистик, связанное с возможностью установления структуры правила ре­шения - функциональной зависимости между и х, о которой шла речь выше. В гл. 2 при обсуждении понятий полного класса решающих пра­вил и достаточной статистики уже приводились некоторые примеры для случая, когда множество решений дискретно. Теперь рассмотрим случай непрерывного множества решений , когда требуется оценить значение вектора по результатам наблюдения вектора , который представляет собой аддитивную смесь с вектором помехи . Решение является вектором , представляющим собой оценку вектора . Пусть и имеют гауссовы распределения вероятности с корреляционными матрицами (известными либо неизвестными) и соответственно. Тогда плотность совместного распределения вероятности

, (4.5.11)

где - определитель матрицы ; - матрица, обратная (аналогично ).

Преобразуя выражение (4.5.11), получаем

(4.5.12)

и апостериорную плотность вероятности

, (4.5.13)

где – матрица, определяемая из уравнения

. (4.5.14)

Из (4.5.13) следует, что вектор

, (4.5.15)

представляющий собой линейное преобразование вектора х с матрицей из (4.5.14), является достаточной статистикой (поскольку его раз­мерность совпадает с размерностью вектора , он является также мини­мальной достаточной статистикой). Поэтому всякое оптимальное реше­ние - оценка вектора для какой-либо функции потерь - обязательно является функцией только этой достаточной статистики. Фактически, как уже отмечалось в гл. 2, при слабых ограничениях на функцию потерь оптимальная оценка совпадает с из (4.5.15). Таким образом, если корреляционные матрицы и неизвестны, то есть мы имеем чисто байесову задачу, то нахождение до­статочной статистики (4.5.15) уже означает полное решение задачи син­теза оптимальной процедуры оценивания (фильтрации, если индекс имеет смысл дискретного времени, а и значения под­лежащего выделению и наблюдаемого процессов в дискретные моменты времени). Если же и полностью или частично неизвестны, то выражение (4.5.15) для достаточной статистики все равно чрезвычайно полезно в том смысле, что устанавливает структуру оптимальной оценки как линейного преобразования вектора х. Это значительно сокращает выбор в условиях априорной неопределенности, поскольку общий вид оптимального алгоритма оценивания ясен и задача заключается только в правильном выборе коэффициентов линейного преобразования (4.5.15).

Некоторые из приведенных выше примеров свидетельствуют о том, что для нахождения байесова правила решения не обязательно тре­буется полное знание распределений вероятности х и , а нечто мень­шее, что дает возможность найти минимум апостериорного риска. Чтобы определить, какие же конкретные сведения об этих распределениях дей­ствительно необходимы для нахождения оптимального правила реше­ния, полезно использовать понятия достаточной статистики. Поясним это на примере. Пусть ставится задача двухальтернативного ре­шения - обнаружения факта наличия сигнала по результатам на­блюдения в дискретные моменты времени его смеси с некоторой не­коррелированной в различные моменты времени помехой. Данные наблюдения представляют собой последовательность , которая может быть порождена либо только одной помехой, либо смесью сиг­нала и помехи. Будем считать, что распределение вероятности помехи и способ ее комбинирования с сигналом произвольны.

В соответствии с этим любая из величин имеет плотность рас­пределения вероятности при отсутствии сигнала и при его наличии, где , а и - некоторые произвольные плотности вероятности.

Составляя отношение правдоподобия, которое является минималь­ной достаточной статистикой для рассматриваемой двухальтернативной задачи, с учетом независимости значений получаем

. (4.5.16)

Естественно, что в общем случае для реализации оптимального алгорит­ма обнаружения, который состоит в сравнение с порогом отношения правдоподобия, требуется знание функций и , то есть статистики помехи и способа комбинирования сигнала с помехой. Предпо­ложим теперь, что нас интересует часто встречающийся на практике асимптотический случай слабого сигнала. Тогда с учетом равенства

, (4.5.17)

где

. (4.5.18)

Отношение правдоподобия является взаимооднозначной функци­ей величины

, (4.5.19)

которая также является минимальной достаточной статистикой в рас­сматриваемом асимптотическом случае; оптимальный алгоритм обнару­жения заключается в простом сравнении с порогом величины . Для реализации этого алгоритма нужно знать лишь первую производную логарифма условной плотности вероятности при , то есть функ­цию из (4.5.18), которая определяет вид нелинейного преобразова­ния наблюдаемых значений . Другие более детальные сведения о виде распределений и для нахождения оптимального алгоритма просто не требуются, поэтому неопределенность, выходящая за пределы знания вида функции , не является существенной.

Аналогично можно рассмотреть большое количество частных, но практически важных задач, однако даже приведенные выше простые примеры достаточно ясно иллюстрируют значение общего подхода, осно­ванного на выделении достаточных статистик и исследовании их струк­туры.

Дата добавления: 2015-09-03