Радиальные базисные функции

Обсуждение

В пакете ST Neural Networks имеется возможность работать с сетями раз­личных архитектур, из которых, вероятно, лучше всего известны многослойные персептроны. Другой, тоже часто используемый тип элементов -радиальная базисная функция (RBF) (Haykin, 1994; Bishop. 1995).

Каждый элемент многослойного персептрона выполняет линейное преоб­разование входного вектора (набора значений, подаваемого на вход эле­мента); более точно, берется взвешенная сумма входов, и из нее вычита­ется пороговое значение. В пакете ST Neural Networks такое преобразова­ние называется линейной PSP (постсинаптической потенциальной) функ­цией. Результат затем пропускается через нелинейную функцию актива­ции. Линейность PSP-функции означает, что многослойный персептрон фактически делит пространство входных векторов на части посредством гиперплоскостей (в двумерном пространстве гиперплоскость - это обыч­ная прямая).

В отличие от многослойного персептрона с его линейным подходом, в сети на радиальных базисных функциях используется радиальная PSP-функция. В каждом элементе вычисляется квадрат расстояния от входного вектора до вектора весов. Затем это расстояние умножается на «пороговое значение» (в действительности, на величину отклонения), после чего ре­зультат пропускается через функцию активации. Таким образом, сеть на радиальных базисных функциях делит пространство входов посредством гиперсфер (в двумерном пространстве гиперсфера - это окружность).

Каждый из двух описанных подходов имеет свои достоинства и недостат­ки. Действие радиальных функций очень локально, в то время как при линейном подходе охватывается все пространство входов. Поэтому, как правило, RBF-сети имеют больше элементов, чем MLP-сети, однако MLP может делать необоснованные обобщения в ситуациях, когда ему попада­ется набор данных, непохожий ни на какие наборы из обучающего мно­жества, в то время как RBF в таком случае всегда будет выдавать почти нулевой отклик.

В теории отмечается также, что для решения некоторых классов задач с помощью MLP требуется два промежуточных слоя, а иногда для большей эффективности приходится брать даже большее число промежуточных слоев. В отличие от этого, для RBF-сети всегда достаточно одного проме­жуточного слоя.

RBF-сеть всегда состоит из трех слоев: входного, промежуточного, со­стоящего из радиальных элементов, и линейного выходного слоя. Благодаря нелинейности радиальных элементов, этот выходной слой можно брать уже чисто линейным (т.е. с линейной PSP-функцией и линейной функцией активации). В программу ST Neural Networks заложены стан­дартные методы линейной оптимизации, позволяющие оптимизировать параметры выходного линейного слоя при любых заданных параметрах предыдущих слоев сети.

Таким образом, способ обучения RBF-сети принципиально отличается от того, который мы имели в случае MLP. Прежде всего, с помощью обуче­ния без учителя (т.е. когда в обучающих данных в расчет принимаются только значения входных переменных) определяются радиальные центры и отклонения (или протяженность). По сути дела, идея состоит в том, что­бы поместить центры в середины кластеров обучающих данных, а откло­нения выбрать так, чтобы они отражали плотность данных в кластерах. Затем происходит оптимизация линейного выходного слоя методом псев­дообратных матриц.

Можно действовать иначе: изменить вид функций активации элементов выходного слоя на логистические (Logistic) и затем обучить этот слой с помощью метода обратного распространения, сопряженных градиентов или Левенберга-Маркара, соединив таким образом преимущества нели­нейности радиальных функций и устойчивость логистических функций активации, правда, ценой увеличения времени обучения.

Дата добавления: 2015-11-30