Читайте также:
|
|
Алгоритм обучения МСП с обратным распространением ошибки (Back Propagation (BP)-алгоритм)
Эффективность обученного МСП обычно оценивается величиной средней ошибки. Обозначим через действительное значение на выходе i-того выходного нейрона при распознавании p-ого образа обучающей последовательности, - требуемое значение на выходе i-того выходного нейрона при распознавании p-ого образа обучающей последовательности.
Ошибка при распознавании p-го образа обучающей последовательности:
При распознавании всех N образов ОП результирующая ошибка:
Если число весов связи равно 2 – то зависимость средней ошибки МСП от этих двух весов связи – то эту ошибку можно представить в виде поверхности.
Зависимость ошибки E от имеет ряд локальных минимумов и один глобальный минимум. В общем случае задача обучения МСП состоит в определении таких численных значений всех весов связи, при которых результирующая ошибка E достигает абсолютного минимума. Однако чаще всего в процессе обучения МСП отыскивается один из локальных минимумов. Он определяется следующим образом:
1. Производится инициализации всех весов связи небольшими численными значениями (обычно в интервале [-0,1;0,1]). Существует много программ генерации псевдослучайных чисел
2. Выбирается точка, в этой точке производится коррекция веса, в результате получается следующая приближение веса.
Почему алгоритм называется алгоритмом обучения с обратным распространением ошибки? Значения признаков образов обучающей последовательности обрабатывается в прямом направлении от входа к выходу МСП. На выходе МСП определяется классификация предъявленного образа. Если классификация персептрона не совпадает с классификацией этого образа учителем, то эта ошибка классификации используется для коррекции всех весов связи. Выявленная на выходе ошибка в классификации используется сначала для модификации весов связи между последним скрытым слоем и выходным слоем. После выполнения этой коррекции становятся известными ошибки на выходах нейронов последнего скрытого слоя и по этим ошибкам осуществляется коррекция весов связей между предпоследним и последним скрытым слоем, и т.д. осуществляется коррекция всех весов.
Основная трудность в разработке BP-алгоритма состоял в расчете величины ошибки скрытых нейронов. Из рассмотрения BP-алгоритма следует, что величина ошибки при обучении персептрона или при модификации всех его весов связи осуществляется в направлении от выхода ко входу, т.е. в направлении, обратном прямому.
BP-алгоритм обладает рядом недостатков:
1. В общем случае на основе BP-алгоритма отыскивается один из локальных минимумов ошибки, а не абсолютный минимум
2. Средняя ошибка может иметь плато, в котором эта ошибка примерно одинакова. На участке плато производная от ФА нейрона равна нулю. Модификация весов связи осуществляется с учетом этой производной от ФА. Т.е. при нулевой производной от ФА модификация весов связи невозможна.
Один из способов обхода ошибки – использование модифицированного алгоритма – BackProp Momentum. Если производная на участке равна 0, то учитывается производная на предыдущем участке
Дата добавления: 2015-11-30; просмотров: 28 | Нарушение авторских прав