Стохастические нейроны

Стохастический нейрон, как и в оригинальной модели Хопфилда, является бинарным - его состояние принимает значения . Однако то, в какое состояние перейдет нейрон, связано со значением потенциала не однозначно, а случайным образом. Именно, вероятность перехода нейрона в состояния : , , или иначе

,

где - распределение Ферми: , удовлетворяющее необходимым условиям , и - обратная температура. В низкотемпературном пределе распределение Ферми переходит в пороговую функцию, и поведение сети из стохастических нейронов становится аналогичным поведению сети Хопфилда, составленной из обычных бинарных нейронов.

Приближение среднего поля

Поскольку динамика состояний стохастических нейронов является вероятностной, можно интересоваться только средней активностью, или же ожидаемыми значениями их состояний

В силу нелинейности функции Ферми усреднение ее затруднительно, но в приближении среднего поля можно получить следующую замкнутую систему уравнений.

Дата добавления: 2015-11-30