Обучение в задаче регрессии

После того, как сформирован набор данных, построение и обучение сети происходит во многом так же, как и в задачах классификации.

Сначала с помощью Советника - Network Advisor создадим многослойный персептрон с тремя слоями и в промежуточном слое возьмем шесть эле­ментов. Затем обучим сеть с помощью алгоритма Левенберга-Маркара (кнопка ); можно добиться того, чтобы ошибка сделалась порядка 0,1.

Метод Левенберга-Маркара (Bishop, 1995) считается одним из лучших алгоритмов нелинейной оптимизации, известных на сегодняшний день, и это один из наиболее быстрых известных алгоритмов обучения нейрон­ных сетей. Он, однако, имеет два существенных ограничения (а также некоторые менее существенные):

1. Алгоритм можно применять только для относительно небольших се­тей (в пределах нескольких сотен нейронов).

2. Алгоритм годится только для сетей с одним выходом.

Если указанные условия выполнены (как в нашем примере), то, как пра­вило, стоит выбрать именно этот алгоритм. Скорее всего, вы обнаружите, что ошибку обучения здесь можно сделать гораздо меньшей, чем это по­зволяет метод обратного распространения (на самом деле это относитель­ное преимущество, поскольку уменьшить аналогичным образом кон­трольную ошибку не удается; тем не менее, это говорит о возможностях алгоритма).

Замечание. Применение алгоритма Левенберга-Маркара связано с од­ной особенностью. Оценивая очередной вариант сети, алгоритм отвергает его, если при этом увеличилась ошибка. Программа ST Neural Networks изображает на графике ошибки рассмотренных ею вариантов сетей, при этом график обучения может оказаться очень «зазубренным». Это, одна­ко, не означает плохой работы алгоритма, поскольку предыдущий вариант сети хранится в памяти до тех пор. пока он не будет превзойден.

Результаты работы сети в задаче регрессии можно оценить по информации, которая выдается в окне Статистики регрессии - Regression Statistics (пункт Регрессия - Regression... меню Статистики - Statistics или кнопка ).

Здесь подсчитываются среднее и стандартное отклонение для выходных переменных и ошибки сети, а также отношение стандартного отклонения ошибки к стандарт ному отклонению данных.

Последняя статистика является хорошим показателем качества регрессии. Если бы у нас вообще не было ни одной входной переменной, то в качест­ве прогноза для выходной переменной естественно было бы брать ее среднее значение, и в таком случае ожидаемая ошибка прогноза совпадала бы со стандартным отклонением данных. Поэтому качество решения за­дачи регрессии естественно оценить тем, во сколько раз ошибка прогноза улучшила этот показатель. Обычно значение среднего ошибки (Error Mean) получается близким к нулю, а стандартное отклонение прогноза оказывается существенно меньше стандартного отклонения данных.

Если величина Отношение ст. откл. - S.D. Ratio меньше 0,1, это означает прекрасное качество регрессии. В нашем примере можно добиться отно­шения 0,2 или несколько меньше.

Программа ST Neural Networks вычисляет все указанные статистики раз­дельно для обучающего и контрольного множеств, и результаты для по­следнего выводятся в правой части таблицы красным цветом.

Дата добавления: 2015-11-30