Регрессионный анализ. Метод наименьших квадратов.

Регрессия - возвращение к более раннему состоянию или образу действия. Этот термин был введен английским психологом и антропологом Ф.Гальтоном, который получил из конкретного примера. Обрабатывая статистические данные в связи с вопросом о наследственности роста, Ф.Гальтон нашел, что если отцы отклоняются от среднего роста всех отцов на Х дюймов, то их сыновья отклоняются от среднего роста всех сыновей меньше, чем на Х дюймов. Выявленная тенденция была названа «регрессией к среднему состоянию». После работ Карла Пирсона этот термин стали использовать и в статистике.

Регрессионный анализ – метод моделирования измеряемых данных и исследования их свойств.

Метод наименьших квадратов (МНК) – это метод оценки неизвестных случайных величин по результатам измерений, содержащим случайные ошибки. В нашем случае дана смесь – сигнал + шум. Наша задача состоит в извлечении истинного тренда.

При помощи метода наименьших квадратов вычисляются коэффициенты аппроксимирующего многочлена. Эта задача решается следующим образом.

Пусть на некотором отрезке в точках … нам известны значения … некоторой функции f(x).

Требуется определить параметры многочлена вида

, где k<N

такого, что сумма квадратов отклонений значений y от значений функции f(y) в заданных точках x была минимальной, то есть .

Геометрический смысл заключается в том, что график найденного многочлена y = f(x) будет проходить как можно ближе к каждой из заданных точек.

Далее нужно решить следующую систему уравнений:

…………………………………………………………………………….

Запишем систему уравнений в матричном виде:

Решением является следующее выражение:

Несмещенная оценка для дисперсии ошибок наблюдений равна:

Чем величина D меньше, тем точнее описывается y.

N – Объем выборки

считается по формуле:

Доверительный интервал для коэффициентов тренда считается так:

j=0..3

– квантиль распределения Стьюдента

- j-ый диагональный элемент матрицы

3.2 Расчеты

Дан истинный тренд функции с параметрами, и смесь сигнал + шум:

Находим минимальное и максимальное значение:

Находим коэффициенты полинома по МНК:

График найденной функции и тренда:

Найденные коэффициенты:

Найдем доверительный интервал для заданных коэффициентов полинома:

Квантили распределения Стьюдента, найденные в таблице:

График разности тренда от найденной функции:

Максимальное отклонение от тренда:

3.3 Выводы

В ходе работы была выполнена задача по нахождению истинного тренда из смеси

сигнал +шум. За основу работы взят метод наименьших квадратов. Для оптимальных

расчетов был использован полином третьей степени, что привело к получению расчета

четырех коэффициентов модели. Были рассчитаны не только сами коэффициенты, но и

их доверительные интервалы. На построенном графике представлены два тренда –

истинный и его оценка. Имеются небольшие отклонения, это связано с тем, что было

взято относительно небольшое количество коэффициентов.

Заключение

В результате проведенной работы были закреплены теоретические знания и приобретены практические навыки работы со статистиками, умение находить точечные и интервальные оценки математического ожидания и дисперсии, строить гистограммы. Был изучен метод МНК (регрессионного анализа), при помощи которого удаётся выделить тренд из смеси сигнал + шум.

Дата добавления: 2015-11-04