Нейросети Жордана(Jordan) и Элмана(Elman)

Для распознавания и классификации образов, изменяющихся во времени, и прогнозирования ВР особо пригодны рекуррентные архитектуры нейросетей (нейросети с обратными связями). ВР — это последовательность образов, которые не могут рассматриваться изолированно. В них важна сама последовательность: важен не только тот или иной образ, но и позиция, которую он занимает во всей временной последовательности. Соответственно при обработке ВР с помощью нейронных сетей результат зависит не только от текущего образа, но и от предшествующих образов.

Рис.5.1. Модель нелинейной регрессии с внешними входами

Особенность частично рекуррентных сетей - в использовании контекстных нейронов. С их помощью реализуется механизм памяти. Контекстные нейроны в качестве входов используют выходы скрытых или выходных нейронов. Эти частично рекуррентные сети занимают промежуточное положение между сетями с прямыми связями и полностью рекуррентными нейросетями (например, сети Хопфилда, машина Больцмана и другие). Существенным преимуществом частично рекуррентных сетей является то, что для их обучения могут использоваться модифицированные алгоритмы обучения для сетей с прямыми связями.

5.3.2.1. Нейросети Жордана (Jordan)

В нейросетях Жордана архитектура сетей с прямыми связями дополняется контекстными нейронами, которые предназначены для запоминания состояния выхода (рис.5.2).

Вход для скрытых нейронов формируется входными и контекстными нейронами. Выходы скрытых нейронов подаются на входы выходных нейронов. Выходы выходных нейронов с одной стороны являются выходами нейросети, с другой стороны с постоянными весовыми коэффициентами  (обычно  = 1) подаются на входы контекстных нейронов. Кроме того, контекстные нейроны имеют непосредственно свои (прямые) постоянные и не тренируемые обратные связи силы λ. Следует обратить внимание, что при такой архитектуре число контекстных нейронов равно числу выходных нейронов.

Рис.5.2. Архитектура сети Жордана.

При этом настраиваемыми являются связи от входных и контекстных нейронов к скрытым нейронам и от скрытых к выходным

нейронам.

Выход нейросети в любой момент времени определяется с одной стороны внешним входом, а с другой стороны – состоянием нейросети, запомненным контекстными нейронами. Обозначим через S( t ) – вектор внутреннего состояния, зависящий от времени. При этом поведение нейросети можно описать двумя уравнениями:

o (t) =F(S (t) ,I (t) ) (5.1)

S (t+1) =G(S (t) ,I (t) ) (5.2)

Здесь F -функция выхода, G -функция перехода состояния нейросети в момент времени t в состояние в момент времени t+1 (подобно теории автоматов), I (t)-вектор входа в момент времени t. Обе функции F и G зависят от текущего входа I (t) и текущего состояния S (t). В соответствии с (5.2) состояние нейросети в момент времени t+1 определяется текущим состоянием S (t) и входным I (t). Выходы нейросети o (t) в момент времени t определяются входом и состоянием нейросети в момент времени t.

Нейроны нейросети имеют линейную функцию активации или выхода y=z=net. Пусть S (0) — начальное (стартовое) состояние нейросети, тогда вектор состоянияв момент времени t определяется так:

S (t) = S (0) приt=1; (5.3)

S (t) = S (t-1)+ o (t-1) при t>1 (5.4)

Если начальный (стартовый) вектор является нулевым вектором и коэффициенты обратных связей от выходных нейронов к контекстных равны , то уравнение (5.4) принимает вид:

(5.5)

Эта функция перехода представляет собой экспоненциально взвешенную сумму всех предшествующих выходов. Параметр  для [0,1] определяет свойства памяти сети. При малых значениях  далеко отстоящие во времени состояния оказывают всё более уменьшающееся влияние, влияние же последних состояний относительно более сильное. При выборе  вблизи 1 влияние более поздних выходов становится более важным. В предельном случае =1 суммируются все предшествующие выходы. При  = 0,5обеспечивается компромисс между учётом старых значений выходов и гибкостью к новым изменениям.

5.3.2.2. Нейросети Элмана (Elman)

Сети Элмана представляют собой модификацию сетей Жордана. Их отличие - в использовании обратных связей не от выходных нейронов (сети Жордана), а от скрытых нейронов. Кроме того, в них отсутствуют и прямые обратные связи с выходов самих контекстных нейронов на их же входы (рис.5.3).

В них числа скрытых и контекстных нейронов естественно совпадают. Веса обратных связей от скрытых нейронов к контекстным равны 1. Функция активации или выхода контекстных нейронов линейная y=net=z (выход равен входу). То есть выходы контекстных нейронов - это копии выходов соответствующих скрытых нейронов. Выходы скрытых нейронов, как обычно, подаются на входы выходных нейронов. При вводе следующего образа контекстные нейроны имеют активации скрытых нейронов для предшествующего образа. Таким образом, запоминается временная последовательность образов. Задача скрытых нейронов состоит в отображении внешнего входа и запомненного внутреннего состояния (контекстными нейронами) в желаемый вход.

Простые сети Элмана имеют лишь один слой скрытых нейронов. Для многих приложений лучшие результаты достигаются иерархическими сетями Элмана, имеющими несколько скрытых и соответствующих им контекстных слоёв нейронов (рис.5.4).

На рис.5.4 архитектура иерархической сети Элмана с двумя скрытыми слоями, причём каждый скрытый слой имеет свой собственный контекстный слой. Выходной слой также может быть снабжён контекстным слоем.

Преимущество иерархических сетей Элмана:

-Во-первых, в использовании многих скрытых слоёв;

-Во-вторых, в моделировании различных свойств памяти

Рис.5.3. Архитектура нейросети Элмана

Рис.5.4. Архитектура нейросети Элмана с двумя

скрытыми слоями

путём различных значений параметров памяти _i.

Дата добавления: 2015-11-30