Процедура обратного распространения. Обучающий алгоритм обратного распространения. Пример обучения. Область применения алгоритма и ограничения по использованию.

Разработка алгоритма обратного распространения сыграла важную роль в возрождении интереса к искусственным нейронным сетям. Обратное распространение - это систематический метод для обучения многослойных искусственных нейронных сетей.

Многослойные сети, название по алгоритму обучения:

Может быть несколько скрытых слоёв. Необязательно полносвязная сеть. Используется экспоненциальная функция:

Задача – определить веса для каждого персептрона.

Y-T=δ – jib,rfj,extyb

Запускаем ошибку и смотрим, какие нейроны задействованы

эта функция, называемая сигмоидом, весьма удобна, так как имеет простую производную, что используется при реализации алгоритма обратного распространения.

.

На сколько сумма была ошибочна

Алгоритм обучения.

1. Выбрать очередную обучающую пару из обучающего множества; подать входной вектор на вход сети.

2. Вычислить выход сети.

3. Вычислить разность между выходом сети и требуемым выходом (целевым вектором обучающей пары).

4. Подкорректировать веса сети так, чтобы минимизировать ошибку.

5. Повторять шаги с 1 по 4 для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня.

Обратный проход(корректировка весов):
1) Подстройка весов выходного слоя

δ = OUT(1 - OUT)(Target - OUT)

Δ w _pq,k = η δ_q,k OUT

w _pq,k(n+1) = w _pq,k(n) + Δ w _pq,k

величина веса от нейрона p в скрытом слое к нейрону q в вых. слое

Элемент выборки запустили на выход, знаем его значение ошибки. Берём производную от ошибки.

Определим, что было на входе, чтобы получить ошибку.

0,2 0,7

Для каждого веса Δ w _pq,k = η δ_q,k OUT (учитываем что на входе несколько значений) промасштабировали ошибку по тому, как влияет на результат.

δ=0,3

δ₁ = 0,6

δ₂ = 0,21

Настроить веса в скрытом слое, его ошибка равна сумме всех ошибок, пришедших туда.

Пример:

Ограничения:

1. В сложных ситуациях сеть может обучаться очень долго

2. В ходе обучения значения весов могут стать очень большими величинами (можно уменьшить скорость обучения, но это привет к увеличению времени обучения)

3. Использование алгоритма градиентного спуска (спуск по значению ошибки) в данном алгоритме не предусмотрен выход из локального минимума

4. Размер шага. Алгоритм обратного хода сходится, если размер шага мал, т.о. можно вообще не получить решения

5. Временная неустойчивость. НС должны обучаться на всем множестве обучающей выборки.

Дата добавления: 2015-11-30