Статистичні оцінки і їхні властивості

Статистичні оцінки і їхні властивості

Вибірка називається репрезентативною (представницькою), якщо вона досить повно характеризує генеральну сукупність. Для забезпечення репрезентативності вибірки найчастіше використовується описаний раніше рандомізований вибір її елементів. При такому виборі кожна можлива вибірка фіксованого обсягу має ту саму імовірність вибору, а послідовні спостереження незалежні.

Призначення статистичних методів полягає в тому, щоб по вибірці обмеженого обсягу N, тобто по деякій частині генеральної сукупності, сформулювати обґрунтоване судження про її властивості в цілому.

Функція g(х1, x2, …, хN) від елементів вибірки з розглянутої генеральної сукупності називається статистикою. Фіксована статистика, що підходить для оцінювання того чи іншого параметра генеральної сукупності, називається статистичною оцінкою (вибірковим значенням) даного параметра. З приведених визначень випливає, що довільна статистика як функція випадкових спостережень сама є випадковою величиною. G =
= g(х1, x2, …, хN), як і будь-яка інша випадкова величина, може бути описана з імовірнісної точки зору шляхом завдання відповідної функції розподілу, наприклад щільності розподілу f(g) або тих чи інших числових параметрів розподілу, скажемо, математичного очікування m чи дисперсії D{G}. Конкретне значення статистики g, знайдене за результатами даного експерименту, може розглядатися як окремий представник, як реалізація випадкової величини G. У загальному випадку функція f(g) залежить від параметрів Θ1, Θ2, …, Θd генеральної сукупності й обсягу вибірки N, тобто

f(g) = f(g; Θ1, Θ2, …, Θd; N)

Будь-яка оцінка невідомого параметра Θ генеральної сукупності є випадкова величина. У цьому її принципова відмінність від самого оцінюваного параметра Θ, що є невипадковим. Для параметрів генеральної сукупності і їхніх оцінок вводяться різні позначення: у загальному випадку для позначення оцінки довільного параметра Θ використовується спеціальний знак ^, так що параметру Θ відповідає оцінка . Коли параметри генеральної сукупності позначаються грецькими буквами (дисперсія , коефіцієнт кореляції ρ і т.д.), відповідні вибіркові значення позначаються латинськими буквами (, r і т.д.). У деяких випадках загальноприйняті спеціальні позначення, наприклад, для оцінки математичного очікування m. Імовірнісні властивості довільної оцінки параметра генеральної сукупності також можуть бути визначені за допомогою вибіркової функції розподілу оцінки і її характеристик і .

Для оцінювання того самого параметра можна використовувати різні оцінки (статистики). Щоб вибрати найкращу з них, необхідно сформулювати деякі вимоги до властивостей оцінок, стосовно їх практичного використання: характеристики спроможності, незміщеностіі ефективності.

Показник ефективності , для довільної оцінки невідомого параметра Θ уводиться співвідношенням

(2.1)

Ясно, що , причому для ефективної оцінки. Якщо для будь-якого кінцевого N, але , то оцінка Θ називається асимптотично ефективною.

Властивості оцінок різних параметрів Θ багато в чому визначаються видом закону розподілу досліджуваної генеральної сукупності, а також способом оцінювання.

Метод максимальної правдоподібності

Метод максимальної правдоподібності є найбільш важливим загальним методом оцінювання невідомих параметрів по експериментальним даним. Нехай х1, x2, …, хN – вибірка з генеральної сукупності випадкової величини X із щільністю імовірності fx(x; Θ), що залежить від постійного невідомого параметра Θ. Вибіркова щільність імовірності для випадкової вибірки обсягу N дорівнює

, (2.2)

оскільки за умовою елементи вибірки статистично незалежні.

До того, як зроблений експеримент, щільність імовірності (2.2) дає уявлення про частоту одержання різних вибірок за умови, що задано. В задачах оцінювання, після того як зроблений експеримент, значення вибірки відомі – це деякі числа, а параметр Θ, навпаки, невідомий. Залежна від Θ функція, що утвориться при підстановці вибіркових значень х1, x2, …, хN у щільність імовірності (2.2), називається функцією правдоподібності L(Θ) для параметра Θ:

(2.3)

Вона виражає перевагу різних значень Θ при тій конкретній вибірці, що фактично має місце.

Метод максимальної правдоподібності: як оцінку невідомого параметра Θ вибирається його значення, яке максимізує функцію правдоподібності. У багатьох випадках максимум цієї функції вдається знайти аналітично, вирішуючи рівняння

. (2.4)

Іноді зручніше знаходити максимум не самої функції L(Θ), а її логарифма l(Θ)=ln L(Θ) за допомогою співвідношення

(2.5)

Рівняння (2.4) чи (2.5) називають рівнянням правдоподібності. Якщо не вдасться одержати його рішення аналітично, для перебування максимуму функції правдоподібності використовуються чисельні методи. Ефективним є графічне зображення функції правдоподібності.

Приклад ідеї методу максимальної правдоподібності: нехай відомо, що випадкова величина змінюється за двостороннім експонентним розподілом (розподіл Лапласа) , де λ – невідомий параметр розподілу. Дано вибірку обсягом N = 3, що містить наступні елементи: х1 = -3; х2 = -0,1; х3 = 2,9. Функція правдоподібності L(λ) (рис. 2.1) при цьому дорівнює

.

Максимум L(λ) досягається при λ = 0,5. Саме дане значення і варто взяти як вибіркову оцінку максимальної правдоподібності параметра λ: λ = 0,5. Така оцінка дає краще значення параметра λ, оскільки при цьому імовірність одержання вибірки максимальна.

Рисунок 2.1 - метод максимальної правдоподібності

У випадку n невідомих параметрів Θ1, Θ2, …, Θn оцінки знаходяться аналогічно шляхом визначення максимуму функції правдоподібності L(Θ1, Θ2, …, ΘN) чи її логарифма

l(Θ1, Θ2, …, Θn) =ln L(Θ1, Θ2, …, Θn)

одночасно по всіх n параметрах, від яких вони залежать. Аналітично, якщо можливо, відповідні оцінки будуть виходити в результаті рішення системи n рівнянь виду

чи

Головною перевагою методу максимальної правдоподібності є те, що він дозволяє порівняно просто відшукати оцінки, які володіють властивостями:

а) знаходження, якщо вона існує, ефективної оцінки;

б) оцінка методу максимальної правдоподібності при деяких обмеженнях спроможна з математичним очікуванням, рівним Θ, і дисперсією

. (2.6)

Дата добавления: 2015-09-29