Центральная предельная теорема

Пусть - последовательность независимых одинаково распределенных случайных величин с конечными математическим ожиданием и дисперсией , - сумма первых случайных величин.

В соответствии с законом больших чисел для независимых одинаково распределенных случайных величин (Теорема 3)

или, после приведения к общему знаменателю,

.

Возникает вопрос: если при делении на мы получили в пределе 0 (в смысле некоторой, все равно какой, сходимости), то не слишком ли на «много» мы поделили? Нельзя ли поделить на что-нибудь, растущее к медленнее, чем , чтобы получить в пределе не 0 (и не , естественно)? Оказывается, что уже последовательность случайных величин сходится не к 0, а к случайной величине, причем имеющей нормальный закон распределения!!!

Теоремы, которые устанавливают нормальность предельного (в смысле слабой сходимости) закона распределения суммы случайных величин называются центральными предельными теоремами (ЦПТ).

Теорема 1 (ЦПТ для независимых одинаково распределенных случайных величин).

Пусть - последовательность независимых одинаково распределенных случайных величин, имеющих конечные математическое ожидание и дисперсию , - сумма первых случайных величин.

Тогда при последовательность случайных величин слабо сходится к стандартному нормальному закону распределения:

или, что эквивалентно, последовательность функций распределения сходится к функции распределения стандартного нормального закона распределения (функции Лапласа) равномерно по всем :

.

Замечание. Учитывая, что , а и согласно определениям функции распределения и функции Лапласа, утверждение Теоремы 1 можно переписать в следующем виде.

Последовательность центрированных и нормированных сумм независимых случайных величин слабо сходится при к стандартному нормальному закону распределения:

или, что эквивалентно, равномерно по всем

.

▲ Обозначим независимые случайные величины, имеющие и , (стандартизованные случайные величины) и пусть . Так как , то требуется доказать, что

.

Вычислим характеристическую функцию случайной величины .

Применяя свойства и , имеем:

.

В соответствии со свойством характеристическую функцию случайной величины можно разложить в ряд Тейлора, в коэффициентах которого использовать известные моменты: , :

.

Подставляя полученное разложение, взятое в точке , в выражение для , получаем:

.

Устремляя и воспользовавшись вторым замечательным пределом , имеем:

.

В пределе мы получили характеристическую функцию стандартного нормального закона распределения . По теореме непрерывности можно сделать вывод о слабой сходимости при последовательности функций распределения к функции распределения стандартного нормального закона распределения : . При этом, поскольку предельная функция распределения является непрерывной на всей числовой прямой, то сходимость функций распределения является равномерной по ■.

Следствие (Интегральная предельная теорема Муавра-Лапласа).

Обозначим - число успехов в независимых испытаниях по схеме Бернулли с вероятностью успеха в каждом испытании равной , (то есть ). Тогда при

или, что эквивалентно, при равномерно по всем

.

В частности, при больших и любых неотрицательных целых и

.

▲ Доказательство первого утверждения непосредственно следует из Теоремы 1, поскольку случайная величина является суммой независимых одинаково распределенных случайных величин: , где - число успехов в -ом испытании, , , (см. доказательство теоремы Бернулли).

Второе утверждение следует из первого и свойств функции распределения:

■.

Если - последовательность независимых, разно-распределенных случайных величин, то для справедливости ЦПТ уже необходимо накладывать на случайные величины некоторые ограничения. Наиболее общим результатом в этом направлении является следующая теорема.

Теорема 2 (Линдеберга, ЦПТ для независимых разнораспределенных случайных величин, без доказательства).

Пусть - последовательность независимых разно-распределенных случайных величин, имеющих конечные математические ожидания идисперсии при любом .

Обозначим - сумму первых случайных величин, , , - функцию распределения случайной величины , .

Тогда, если для любого выполняется условие (условие Линдеберга)

,

то при последовательность случайных величин слабо сходится к стандартному нормальному закону распределения:

или, что эквивалентно, последовательность функций распределения сходится к функции распределения стандартного нормального закона распределения равномерно по всем :

.

Эквивалентные формы записи утверждения ЦПТ:

, ,

равномерно по всем .

Если все случайные величины являются непрерывными с плотностями вероятностей , , то условие Линдеберга принимает вид: для любого

Замечание. Если бы в условии Линдеберга стояли интегралы по всей прямой, то выражение в левой части условия равнялось бы 1. Условие Линдеберга требует, чтобы части дисперсий случайных величин по области, выходящей за границы суммарного квадратического отклонения , в сумме давали бы бесконечно малую величину по сравнению с .

Смысл условия Линдеберга.

Говорят, что случайные величины равномерно асимптотически малы, если для любого при

.

Поскольку

,

то из условия Линдеберга следует равномерная асимптотическая малость случайных величин в соответствии с леммой о двух милиционерах. Другими словами, для того, чтобы ЦПТ имела место, все слагаемые в центрированной и нормированной сумме должны быть равномерно асимптотически малы в том смысле, что вероятность хотя бы одному из них превзойти величину должна стремиться к нулю при возрастании числа слагаемых (то есть, влияние каждого слагаемого на всю сумму должно быть очень мало). Заметим, что данное ограничение касается исключительно случая разнораспределенных слагаемых, для одинаково распределенных слагаемых ЦПТ выполняется без каких-либо дополнительных предположений.

Задача. Показать, что для независимых одинаково распределенных случайных величин условие Линдеберга выполняется всегда.

Таким образом, условие Линдеберга является достаточным для справедливости ЦПТ и выполнения условия равномерной асимптотической малости случайных величин . Оказывается, что при наличии равномерной асимптотической малости случайных величин условие Линдеберга является и необходимым для справедливости ЦПТ (это утверждение известно как теорема Линдеберга-Феллера).

Существуют и другие достаточные условия для справедливости ЦПТ. Они, естественно, являются более ограничительными, чем условие Линдеберга, но проверять на практике их проще. Примером тому служит следующая теорема.

Теорема 3 (Ляпунова, ЦПТ для независимых разнораспределенных случайных величин).

Пусть - последовательность независимых разно-распределенных случайных величин, имеющих конечные математические ожидания ,дисперсии и центральные абсолютные моменты порядка при некотором и любом .

Обозначим - сумму первых случайных величин, , и .

Тогда, если

(условие Ляпунова),

то при последовательность случайных величин слабо сходится к стандартному нормальному закону распределения:

или, что эквивалентно, последовательность функций распределения сходится к функции распределения стандартного нормального закона распределения равномерно по всем :

.

▲ Покажем, что условие Ляпунова является достаточным для выполнения условия Линдеберга.

Действительно, для любого

.

Следовательно,

.

Поэтому, если выполняется условие Ляпунова, то по лемме о двух милиционерах выполняется и условие Линдеберга ■.

При ссылках на ЦПТ удобно использовать понятие асимптотической нормальности.

Определение. Говорят, что случайная величина при асимптотически нормальна с параметрами (краткая запись: ), если закон распределения случайной величины слабо сходится при к стандартному нормальному закону распределения:

.

С учетом этого определения утверждения Теорем 1 и 2 можно записать следующим образом.

Теорема 1. ; Теорема 2.

Прикладное значение ЦПТ состоит в следующем. Если случайная величина представляет собой сумму большого числа независимых случайных величин, то можно считать, что ее закон распределения является нормальным, причем тип распределения слагаемых безразличен (при выполнении условия Линдеберга). Этим фактом и объясняется широкое распространение на практике нормального закона распределения.

Проиллюстрируем действие ЦПТ на сумме независимых равномерно распределенных СВ .

Обозначим - плотность вероятностей случайной величины , , - плотность вероятностей случайной величины .

С одной стороны, плотность вероятностей можно найти аналитически с помощью интеграла свертки (4.13):

.

Графическая иллюстрация этого:

С другой стороны, поскольку , то в соответствии с ЦПТ случайная величина

имеет приблизительно стандартный нормальный закон распределения или, что эквивалентно, случайной величина является асимптотически нормальной: . Последнее означает, что для плотности вероятностей справедливо приближенное равенство:

. (4.19)

Оказывается, что уже при , точность приближения в равенстве (4.19) вполне пригодна для практического использования и это свидетельствует о достаточно быстрой скорости сходимости в ЦПТ.

При утверждение ЦПТ принимает вид:

или . (4.20)

На последнем соотношении основан алгоритм получения значений стандартной нормальной случайной величины с помощью значений случайной величины , то есть с помощью датчика случайных чисел:

.

Заметим, что алгоритм моделирования стандартной нормальной случайной величины с помощью функции, обратной к функции распределения, неприменим, поскольку функция Лапласа не выражается через элементарные.

---

Дата добавления: 2015-08-10