Система нормальных уравнений МНК и ее решение.

При оценке параметров уравнения регрессии применяется метод наименьших квадратов - это особая форма случайной величины, свойства которой зависят от свойств остаточного члена в уравнении.

См. вопрос №11

13. Свойства оценок параметров, полученных методом наименьших квадратов. Условия Гаусса – Маркова.

Условия Гаусса – Маркова:

1-е условие Гаусса—Маркова: M(e_i) = 0 для всех наблюдений

Первое условие состоит в том, что математическое ожидание случайного члена в любом наблюдении должно быть равно нулю. Иногда случайный член будет положительным, иногда отрицательным, но он не должен иметь систематичес­кого смещения ни в одном из двух возможных направлений.

Фактически если уравнение регрессии включает постоянный член, то обыч­но бывает разумно предположить, что это условие выполняется автоматичес­ки, так как роль константы состоит в определении любой систематической тенденции в у, которую не учитывают объясняющие переменные, включен­ные в уравнение регрессии.

2-е условие Гаусса—Маркова: M(e_i²) постоянна для всех наблюдений

Второе условие состоит в том, что дисперсия случайного члена должна быть постоянна для всех наблюдений. Иногда случайный член будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы он по­рождал большую ошибку в одних наблюдениях, чем в других.

Эта постоянная дисперсия обычно обозначается σ², а условие записывается следующим образом:

M(e_i²)=σ²

Величина σ² конечно, неизвестна. Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена.

Если рассматриваемое условие не выполняется, то коэффициенты регрес­сии, найденные по обычному методу наименьших квадратов, будут неэффек­тивны, и можно получить более надежные результаты путем применения мо­дифицированного метода регрессии.

3-е условие Гаусса—Маркова: Cov (e_i,e_j) = 0 (i≠j)

Это условие предполагает отсутствие систематической связи между значени­ями случайного члена в любых двух наблюдениях. Например, если случайный член велик и положителен в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что он будет большим и положительным в следующем наблюдении (или большим и отрицательным, или малым и поло­жительным, или малым и отрицательным). Случайные члены должны быть аб­солютно независимы друг от друга.

В силу того, что Е (e_i) = Е(e_j) = 0, данное условие можно записать следую­щим образом:

M(e_ie_j) = 0 (i≠j).

Если это условие не будет выполнено, то регрессия, оцененная по обыч­ному методу наименьших квадратов, вновь даст неэффективные результаты. В следующих лекциях рассматриваются возникающие здесь проблемы и пути их преодоле­ния.

4-е условие Гаусса—Маркова: случайный член должен быть распределен независимо от объясняющих переменных

В большинстве глав книги мы будем в сущности использовать более сильное предположение о том, что объясняющие переменные не являются стохастичес­кими, т. е. не имеют случайной составляющей. Значение любой независимой пе­ременной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрес­сии.

Если это условие выполнено, то теоретическая ковариация между независи­мой переменной и случайным членом равна нулю. Так как Е(e) = 0, то

Cov(x_i,e_i) = M{(х_i – )(e_i)} = M(x_ie_i)- M(e_t) = M(x_iu_i). Следовательно, данное условие можно записать также в виде:

M(x_ie_i) = 0

Подробнее:

1. регрессия модель линейна по параметрам (коэффициентам), корректно специфицирована, и содержит аддитивный случайный член.

2. случайный член имеет нулевое среднее.

3. все объясняющие переменные не коррелированны мо случайным членом.

4. наблюдаемые значения случайного члена не коррелированные друг с другом.

5. Случайный член имеет постоянную дисперсию

6. Ни одна из объясняющих переменных не является строгой линейной функцией других объясняющих переменных.

7. Случайный член распределен нормально (необязательное, но часто используемое условие)

8.

Дата добавления: 2015-12-08