Обучение нейросетевого регулятора.

В процедуре обучения НСР требуется подобрать весовые коэффициенты и изменяемые параметры нейронов таким образом, чтобы разделить пространство входных векторов на классы, соответствующие максимальному и минимальному значению управления. Известно много методов обучения НС [2, 8, 11]. Однако условия решаемой задачи (требуемое нелинейное преобразование и наличие функции оценки) позволяют остановиться на обучении НСР с использованием методов нелинейного программирования [2, 11].

Для обучения НСР критерий оценки функционирования формируется на основании обучающей выборки, состоящей из множества примеров вида (6).

Оценка функционирования по отдельному примеру на каждом шаге обучения НСР осуществляется на основании функционала от разницы между выходом НСР и его желаемым значением при подаче входного вектора Eⁿ примера Pⁿ. Для обучения НСР по одному примеру можно использовать следующий критерий оценки:

(10)

где — значение j -го выхода при подаче на вход НСР вектора Eⁿ изпримера Pⁿ.

Значение определяется функциональным преобразованием НСР

, (11)

где индекс j указывает на то, что преобразование относится к j -мувыходу,
а W — вектор весовых коэффициентов МНСПР

.

Функция (11) представляет собой формальную запись процедуры
вычисления значения выхода НСР на основании уравнений (1)—(З).

Высокие требования по точности к желаемому преобразованию определяют необходимость обучения сети на большом количестве примеров. Использование функции оценки по одному примеру (10) увеличивает
продолжительность или делает вообще невозможным обучение НСР при последовательном предъявлении отдельных примеров обучающей выборки. Это объясняется наличием у МНСПР свойства забывания. В этом случае обучение производится сразу по группе примеров, которая называется страницей примеров. При этом критерий оценки обучения является функционалом от оценок (10) по всем примерам страницы.

Полагая, что все примеры равноценны, для обучения НСР можно
предложить следующую оценку

,(12)

где Hⁿ - критерий оценки по отдельному примеру Pⁿ; р — число примеровв странице.

Таким образом, для обучения НС по cтранице примеров требуется минимизировать функцию оценки (12), изменяя значения весовых коэффициентов связей и параметров нейронов. Полученная постановка задачи позволяет применить все множество методов нелинейного программирования [1, 7, 10] для настройки НСР, среди которых наиболее распространены градиентные методы.

Градиентные методы решения задачи нелинейного программирования
требуют информации о векторе градиента функции оценки

, (13)

где

,

.

Здесь — приращение весового коэффициента связи, — приращение параметра нейрона.

Рассмотрим основные уравнения для функции оценки (10). Приращение весового коэффициента связи имеет вид

.

Если при обучении НСРизменяются параметры нейронов, то вектор
градиента (13) необходимо дополнить частными производными по параметрам нейронов

, (14)

где — параметры нейронов.

Учитывая сложность функции преобразования НСР, которая входит в функцию оценки, для ускорения вычисления градиента возможно применение метода обратного распространения ошибки. Сокращение времени имеет место как при аппаратной реализации этого метода, так и при программной на компьютерах с архитектурой фон Неймана.

Рассмотрим реализацию метода обратного распространения ошибки для решения поставленной задачи. Для этого необходимо ввести понятия прямого и обратного функционирования НСР. Прямое функционирование соответствует получению выходного вектора при подаче входного по уравнению (1)—(З) и предполагает дополнительное вычисление частных производных от функций преобразования в НСР по изменяемым параметрам и входным переменным. Рассматриваемый НСР имеет два типа преобразований: линейное и нелинейное.

Линейное преобразование осуществляется при прохождении сигнала
связи иимеет частные производные по входу

(15)

и по весу

(16).

Нелинейное преобразование, осуществляемое в нейроне, которое определятся уравнением (4), имеет частную производную по входу

(17)

и по параметру

. (18)

Таким образом, при прямом функционировании НСР вычисляются
значения частных производных (17), (18) для преобразования нейрона и
связи (15), (16) соответственно.

Для вычисления градиента функции оценки по изменяемым параметрам производится обратное функционирование НСР, которое
заключается в распространении сигналов , являющихся двойственными к сигналам прямого распространения из уравнений (1)—(З).

При переходе к обратному функционированию точки ветвления заменяются сумматорами и, наоборот, сумматоры заменяются точками ветвления. В качестве входного вектора для обратного функционирования принимаются величины , равные частной производной функции оценки (10) по выходу нейронной сети

, . (19)

Дальнейшее распространение сигнала происходит в соответствии
уравнением

, (20)

В процессе обратного распространения вычисляются частные производные функции оценки (10) для изменяемых параметров нейронов

(21)

и для весов связей

, (22)

на основании которых формируется вектор градиента.

После получения вектора градиента можно проводить изменение
весовых коэффициентов связей и параметров нейронов в соответствии с выбранным оптимизационным методом.

В качестве базовых предлагаем хорошо зарекомендовавшие себя методы обучения НСР: градиентный метод с постоянным шагом, метод наискорейшего спуска, партан-метод. Иногда лучше использовать градиентные методы в сочетании с методами, не использующими вектор градиента функции оценки (13). Описание алгоритмов, реализующих данные методы, подробно изложены во многих работах (см., например, [1, 7, 10]).

СПИСОК ЛИТЕРАТУРЫ

1. Гилл Ф, МюррейУ, РайтМ.Практическая оптимизация — М.: Мир, 1985 — 509 с.

2. Горбань А. Н.Обучение нейронных сетей — М.: СП Параграф, 1990 — 160 с.

3. Клюев А.С., Колесников А. А.Оптимизация автоматических систем управления по быстродействию — М.: Знергоиздат, 1982 — 240 с.

4. Минский М, Пейперт С. Персептроны — М.: Мир. 1971 — 262 с.

5. Павлов А. А.Синтез релейных систем, оптимальных по быстродействию (метод фазового пространства) — М.: Наука, 1966 — 392 с.

6. Понтрягин Л. С., Болтянский В. Г., Гамкрелидзе Р. В., Мищенко Е. Ф.Математическая теория оптимальных процессов — М.:Наука, 1983 — 392 с.

7. Реклейтис Г., Рейвиндран А., Рэгсдел К.Оптимизация в технике. В 2х кн. Кн. 1— М.: Мир, 1986 — 320 с.

8.Уоссермен Ф.Нейрокомпьюторная техника. Теория и практика — М.:Мир, 1992— 240 с.

9.Фельдбаум А. А.Основытеории оптимальных систем М.: Наука,1966 — 624 с.

10. Химельблау Д. Прикладное нелинейноепрограммирование М.: Мир,1975 — 534 с.

Дата добавления: 2015-07-15