Использование RBF-сети в качестве аппроксиматора

Приближение функций многочленами и рациональными функциями имеет историю, еще более давнюю, чем проблема точного представления. Теорема Вейерштрасса утверждает, что непрерывную функцию нескольких переменных на замкнутом ограниченном множестве можно равномерно приблизить последовательностью полиномов.

Сильным обобщением теоремы о возможности равномерного приближения непрерывных функций многочленами является теорема Стоуна: достаточно взять произвольный набор функций, разделяющих точки, построить кольцо многочленов от них, и получим плотное в алгебре компактного пространства множество функций.

Кроме аппроксимации функций многочленами и их обобщениями из колец функций, разделяющих точки, в последнее время все больше внимания уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными «устройствами» – нейронными сетями.

Каждая сеть состоит из формальных нейронов. Нейрон получает на входе вектор сигналов х, вычисляет его скалярное произведение на вектор весов и некоторую функцию одного переменного. Результат пересылается на входы других нейронов или передается на выход. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций.

Различные способы объединения нейронов между собой и организации их взаимодействия привели к созданию сетей разных типов, каждый из которых связан с соответствующим методом подбора весов межнейронных связей.

Сети, использующие радиальные базисные функции, являются частным случаем двухслойной сети прямого распространения. Каждый элемент срытого слоя использует в качестве активационной функции радиальную базисную функцию типа гауссовой. Радиальная функция (функция ядра) центрируется в точке, которая определяется весовым вектором, связанным с нейроном. Как позиция, так и ширина функции ядра должна быть обучена по выборочным образцам. Обычно ядер гораздо меньше чем обучающих примеров. Каждый выходной элемент вычисляет линейную комбинацию этих радиальных базисных функций. С точки зрения задачи аппроксимации скрытые элементы формируют совокупность функций, которые образуют базисную систему для представления входных примеров в построенном на ней пространстве.

Структуру RBF-сети можно усилить путем применения масштабирования входных сигналов аналогичного сигмоидальной нейросети. Масштабирующуя система вводит дополнительные степени свободы сети, что позволяет лучше приблизить выходной сигнал сети к ожидаемому значению функции. Коэффициенты масштабирования входных сигналов представляют собой группу подбираемых параметров. За счет увеличения количества подбираемых параметров удовлетворительная точность аппроксимации может быть достигнута при меньшем числе нейронов.

Простейшая радиальная нейронная сеть радиального типа функционирует по принципу многомерной интерполяции, состоящей в отображении p различных входных векторов x_i (i = 1, 2, …, p) из входного N-мерного пространства во множество из p рациональных чисел d_i (i = 1, 2. …, p). Для реализации этого процесса необходимо использовать p скрытых нейронов радиального типа и задать такую функцию отображения F(x), для которой выполняется условие интерполяции

.

(4.1)

С практической же точки зрения использование в разложении p базисных функций недопустимо, поскольку обычно количество обучающих выборок очень велико, и в результате вычислительная сложность обучающего алгоритма становится чрезмерной. Поэтому необходимо редуцировать количество весов, что в этом случае сводится к уменьшению количества базисных функций. Ищется субоптимальное решение в пространстве меньшей размерности, которое с достаточной точностью аппроксимирует точное решение. Если ограничиться K базисными функциями, то аппроксимирующее решение можно представить в виде

,

(4.2)

где K < p, а c_i (i= 1, 2, …, K) – множество центров, которые необходимо определить. В особом случае, если принять K = p, то можно получить точное решение c_i = x_i.

Задача аппроксимации состоит в подборе соответствующего количества радиальных функций и их параметров, а также в таком подборе весов w_i (i=1, 2, …, K), чтобы решение уравнения (4.2) было наиболее близким к точному. Поэтому проблему подбора параметров радиальных функций и значений весов w_i сети можно свести к минимизации целевой функции, которая при использовании метрики Евклида записывается в форме

,

(4.3)

В этом уравнении K представляет количество радиальных нейронов, а p – количество обучающих пар ( x _i, d_i), где x _i – это входной вектор, а d_i – соответствующая ему ожидаемая величина.

Подбор количества базисных функций, каждой из которых соответствует один скрытый нейрон, считается основной проблемой, возникающей при корректном решении задачи аппроксимации. Слишком малое количество нейронов не позволяет уменьшить в достаточной степени погрешность выводимого решения на множестве тестирующих данных, тогда как слишком большое их число увеличивает погрешность выводимого решения на множестве тестирующих данных.

Вследствие невозможности априорного определения точного количества скрытых нейронов применяются адаптивные методы, которые позволяют добавлять и удалять их в процессе обучения.

Для определения стратегии формирования структуры сети был применен подход к HRBF-сети как к сети каскадной корреляции Фальмана – специализированной многослойной нейронной конструкции, в которой подбор структуры сети происходит параллельно с ее обучением путем добавления на каждом этапе обучения одного скрытого нейрона. Таким образом, определение структуры сети и реализацию алгоритма ее обучения можно трактовать как выполнение подбора оптимальной архитектуры искусственной нейронной сети.

В рамках решения задач преддипломной практики был разработан алгоритм построения сети оптимальной структуры «от простого к сложному». Данный алгоритм позволяет в процессе обучения нейронной сети итеративно включать в ее структуру новый нейрон с оптимальной функцией активации из заданного набора функций. Таким образом, формирование оптимальной структуры сети оказывается естественным этапом процесса обучения, не требующим никаких дополнительных усилий.

В процессе обучения сети формируется ее структура и осуществляется настройка параметров сети в соответствии с критерием минимальности ошибки аппроксимации со стороны сети. Параметрами сети, подлежащими настройке, являются центры и радиусы функций активации нейрона, а также весовые коэффициенты синапсов. Стратегию подбора параметров сети определяет алгоритм обратного распространения ошибки, который в настоящее время считается одним из наиболее эффективных алгоритмов обучения сети. Его основу составляет целевая функция (1.4), формулируемая в виде квадратичной суммы разностей между фактическими и ожидаемыми значениями выходных сигналов.

.

(4.4)

Побор значений параметров можно осуществлять, используя градиентные методы оптимизации независимо от объекта обучения – будь то вес или центр.

Независимо от выбираемого метода градиентной оптимизации необходимо прежде всего получить вектор градиента целевой функции относительно всех параметров сети. Формулы для расчета градиента сложны и неудобны для практического применения. Поэтому представляется интересным, что на основе метода потоковых графов удается построить очень простые правила формирования компонентов градиента, которые имеют постоянную структуру, не зависящую от сложности сети. При этом базу таких правил составляют соотношения, полученные в результате анализа чувствительности сети методом сопряженных элементов. В теории систем под полной чувствительностью объекта понимается производная любого циркулирующего в нем сигнала относительно значений весов, которая может быть рассчитана на основании знаний о сигналах, распространяющихся по обычному графу и сопряженному с ним. Сопряженный граф определяется как исходный, в котором направленность всех дуг изменена на противоположную.

Дата добавления: 2015-08-03