Метод Ньютона

Пусть в текущей точке X _k матрица Гессе положительно определена. Тогда направление спуска P _k можно определить из условия минимума квадратичной функции специального вида. Разложим целевую функцию J(X) в ряд Тейлора относительно текущей точки X _k:

(1.4.1)

где

Функция Q(X _k) есть квадратичная аппроксимация J(X) вблизи точки X _k. Аналогично разложим в ряд Тейлора функцию J(X) относительно точки X _k+1:

(1.4.2)

Для функции J(X) близкой к квадратичной, когда O(| s_k |³) близка к нулю, матрица Гессе G является матрицей констант и не зависит от значения X. Если предположить, что в точке X _k+1 находится минимум целевой функции J(X), то и сложив (1.4.1) и (1.4.2) и отбросив члены третьего и более высокого порядка малости (O(| s_k |³)~0) получим формулу Ньютона:

(1.4.3)

Достоинством метода Ньютона является отсутствие процедуры поиска минимума в заданном направлении и достижение для квадратичной функции точного решения за одну итерацию. Недостатками метода являются большие затраты на расчет матрицы вторых производных от целевой функции по поисковым параметрам и не гарантируемая сходимость к решению для не квадратичных целевых функций.

Дата добавления: 2015-11-14