Поняте нейросети.

Базовым элементом нейронной сети как математической модели является формальный нейрон. Формальный нейрон имеет некоторое множество однонаправленных входных каналов аналоговой или булевой информации и один выходной канал. По аналогии с биологическими нейронами входные каналы называются синапсами, а выходной - аксоном. Нейрон может быть булевым, то есть оперирующим с однобитовыми сигналами, или аналоговым. При работе с аналоговым нейроном обычно производится нормирование сигналов таким образом, чтобы значения входов и выходов принадлежали интервалу (0,1). Каждому входному каналу с номером j формального нейрона ставится в соответствие число w_j, называемое весом этого канала. Вектор весов w = < w ₁,¼, w_n > является внутренней характеристикой формального нейрона с n входами.

Рис. 1: Формальный нейрон

Текущее состояние формального нейрона с n входными каналами определяется как взвешенная сумма его входов: s = å _{j = 1} ⁿ w_jx_j, где x = < w ₁,¼, w_n > есть входной сигнал.

Выходной сигнал формального нейрона есть функция его состояния: y = F (s). Функция F является внутренней характеристикой формального нейрона и называется активационной функцией. Отметим, что в случае булевых формальных нейронов часто используется пороговая функция с внутренней характеристикой q:

F (s) =

ì í î

0,		z	£ q
1,	q <	z

.

В случае специального вида формальных нейронных сетей - клеточных автоматов - обычно применяется пороговая колоколоидальная функция

F (s) =

ì ï í ï î

0,		z	£ q1
1,	q1 <	z	< q2
0,	q2 £	z

, q₁ < q₂.

Одной из самых популярных функций для обработки сигнала внутреннего возбуждения в случае аналогового нейрона является логистическая функция или сигмоид с внутренней характеристикой s:

F (z) =

1+ e ^-^s z

.

При уменьшении s сигмоид становится более пологим, в пределе при s = 0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении s сигмоид приближается по внешнему виду к функции единичного скачка с порогом в точке s = 0. Эта функция очень популярна из-за некоторых свойств. Например, она дифференцируема на всей оси абсцисс, причем её производная имеет простой вид F ¢(s) = s F (s)(1- F (s)).

Рис. 2: Пример логистической функции

Нейронная сеть состоит из набора нейронов, связанных со входами, выходами и между собой. Формальные нейроны могут объединяться в сети различными способами, но самым распространенным видом нейросети стал многослойный перцептрон.

Рис. 3: Многослойный перцептрон

Сеть состоит из произвольного количества нейронов, разбитых на слои. Нейроны каждого слоя соединяются только с нейронами предыдущего и последующего слоев (в общем случае по принципу каждый с каждым). Отдельно выделяют входной и выходной слои, остальные слои называются внутренними или скрытыми. Каждый слой рассчитывает нелинейное преобразование от линейной комбинации сигналов предыдущего слоя. Отсюда видно, что линейная функция активации может применяться только для однослойной сети. Для многослойных сетей с линейной функцией активации можно построить эквивалентную однослойную сеть.

Многослойная сеть может формировать на выходе произвольную многомерную функцию при соответствующем выборе количества слоев, диапазона изменения сигналов и параметров нейронов.

Дата добавления: 2015-09-05