Метод наибольшего правдоподобия

Существует два способа оценки параметров распределения: интервальный и точечный. Точечные методы указывают лишь точку, в окрестности которой находится неизвестный оцениваемый параметр. Интервальные способы дают возможность найти интервал, в котором с некоторой вероятностью (задаваемой исследователем) находится неизвестное значение параметра. Рассмотрим некоторые методы точечной оценки параметров.

Пусть имеется генеральная совокупность, Х – случайная величина, имеющая распределение р (x,Q). Если Х – дискретная, то р (x,Q) – вероятность, если Х – непрерывная, то р (x,Q) – плотность, Х₁, …, Х_n – выборка. Необходимо найти такое распределение р (x,Q), которое бы лучше всего соответствовало выборке. Соответствие выборки Х₁, …, Х_n закону распределения, содержащего параметр Q, означает, что вероятность получить тот же набор Х при другом значении параметра меньше. Приходим к следующей оптимизационной задаче – при заданных Х₁, …, Х_n определить значение параметра Θ, чтобы р (x,Q) (вероятность или плотность распределения) была наибольшей. В такой постановке х – фиксированная точка, а Θ ­– переменная. Функцию L (Θ) = р (x, Q) называют функцией правдоподобия.

Более точная математическая формулировка задачи оптимизации следующая.

Если Θ Î q – замкнутой области допустимых значений, необходимо найти такое Θ^*, чтобы

. (1)

Из анализа известно, что точка максимума не изменится, если вместо L (Q) рассмотреть lnL (Q), которая называется логарифмической функцией максимального правдоподобия. Если максимум функции lnL (Q) достигается внутри допустимой области q, то в точке максимума Q^* справедливо необходимое условие экстремума

(2)

Система уравнений (2) называется системой уравнений правдоподобия. Так как система (2) является лишь необходимым условие, то найденные Q^* могут быть и точками перегиба. Поэтому необходимо проверить выполнение достаточных условий экстремума (например, по знаку второй производной). Если система не имеет решений внутри области, то это означает, что решение может быть на границе области.

Так как Х – выборка и следовательно Х ₁, …, Х_n – независимые, одинаково распределенные случайные величины, то

L (Q) = р (X,Θ) = р (X ₁,Θ), …, р (X_n, Θ), . (3)

Пример 1. Пусть Х имеет нормальное распределение. Есть выборка объема n, Q₁ = a, Q₂ = s², тогда

Первое уравнение системы будет иметь вид

, . (4)

Второе уравнение системы будет иметь вид

или

(5)

Из соотношений (5), (6) составим систему (7), которая называется системой уравнений правдоподобия

(6)

Решив систему относительно неизвестных Q₁, Q₂, получим

Метод моментов

Известно, что эмпирическая функция распределения (плотность) является состоятельной оценкой теоретической функции распределения (плотности), т.е. с увеличением числа наблюдений эмпирическая функция сколь угодно мало отличается от теоретической. Если теоретическая функция распределения зависит от каких-либо параметров, то для оценки этих параметров можно воспользоваться выборочными моментами. Пусть, например, плотность распределения содержит два параметра Θ₁ и Θ₂ т.е. Θ = (Θ₁, Θ₂). Первые два момента можно выразить через функцию распределения и Q следующим образом:

Если есть выборка из генеральной совокупности, то выборочные моменты можно найти по известным формулам:

Так как выборочные моменты являются состоятельными оценками, то они с ростом n сходятся по вероятности к функциям a₁(q) и a₂(Q) в точке Θ = (Θ₁, Θ₂)

Следовательно, при больших n, a₁(Q)» , a₂(Q)» . Заменяя приближенное равенство на точное, получим систему, состоящую из двух уравнений с двумя неизвестными:

, (7)

которую надо решить относительно Q₁ и Q₂.

Метод моментов содержит неоднозначность, так как можно получить систему уравнений (7), используя также и центральные моменты – , а следовательно, получим и другие значения Q₁ и Q₂.

Пример 2. Пусть имеется нормальное распределение с неизвестными параметрами:

а = Q₁, s² = Q₂.

Таким образом, если случайная величина имеет нормальное распределение, то оценки а и σ² вычисляются по формулам

Дата добавления: 2015-07-08