Применения МСП

Нейросетевая реализации четырех бальной оценки (m=4). Пусть 10 вопросов (n=10), в скрытом слое используем нейронов. Для обучения и определения эффективности обученного МСП формируется некоторое множество классифицированных студентов.

Производится инициализация всех весов связи.

Выбирается случайный студент из ОП. Численное значение его ответа вводится в МСП. После их обработки на выходе МСП определяется оценка. Если оценка МСП и преподавателя совпадают, то коррекция весов связи не производится. В случае же ошибки осуществляется коррекция всех весов связи в обратном направлении.

Затем сети предъявляется сети следующий случайно выбранный студент. Этот процесс продолжается до тех пор. пока персептрону не будут предъявлены ответы всех студентов ОП. Предъявление ответов одного студента - это шаг обучения. Предъявление ответов всех студентов называется циклом обучения (итерацией, эпохой).

Обычно процесс обучения занимает сотни или тысячи циклов. После завершения обучения МСП производится проверка эффективности обучения МСП по степени совпадения оценок. Если достигнутая степень совпадения этих оценок удовлетворяет предъявленным требованиям – то на этом процесс обучения МСП заканчивается, в противном случае возможно:

 изменение топологии МСП, состоящее в изменении числа скрытых слоёв, чисел нейронов в скрытом слое, в изменении ФА нейрона, в изменении параметра алгоритма обучения. Для облегчения решения этой задачи предложены генетические алгоритмы для оптимизации чисел скрытых слоёв и кол-ву нейронов в них.

Применение МСП для прогнозирования способности возврата кредита. При этом важной задачей является задача выявления относительно небольшого числа информативных (существенных) признаков, характеризующих клиента.

Величина постоянного заработка, наличие недвижимости, наличие судимости, возраст, кредитная история (от 0 до 10 баллов), состояние здоровья (в числе дней по бюллетеням в году), наличие собаки.

После выявления необходимых информативных признаков необходимо их преобразовать, т.е. перевести численные значения этих признаков в интервал. Некоторые из этих признаков изначально бинарны: наличие(1) или отсутствие(0) судимости, наличие недвижимости, наличие собаки. Возраст принимает значения от 20 до 100 лет. Пример преобразования значения признака из интервала от до: н

Таким образом происходит численное нормирование входных признаков, ибо во всех нейропакетах используются лишь нормированные значения признаков.

Выходных нейронов 2: выдать кредит y=1, отказать y=0

Число скрытых нейронов 5

В трехслойном персептроне общее число связей 5 5 5 задача обучения этого МСП состоит в определении таких численных значений этих 45 коэффициентов, при которых обеспечивается достаточно высокое совпадение учителя (эксперта) и обученного персептрона. Для обучения МСП формируется множество предварительно классифицированных образов (клиентов). В виртуальной базе данных хранятся численные значения 7 выделенных признаков и информация о выдаче кредита. Допустим из этой виртуальной базы данных выбирается 500 предварительно классифицированных образов (клиентов). Это множество из 500 образов разделяем на 2 подмножества: обучающее подмножество, например из 300 клиентов, и контролирующее подмножество из оставшихся 300 клиентов. Образы обучающего и контролирующего подмножества образуют обучающую (для определения весов 45 связей) и контролирующую (для определения эффективности обученного МСП, в степени совпадения решений эксперта и обученного персептрона) последовательности. Обучение МСП осуществляется следующим образом:

1. Численные значения 45 весов связей между нейронами неизвестны, поэтому вначале производится инициализация численных значений этих весовых коэффициентов небольшими значениями, например из интервала *-0.1,0.1+. Для этой цели используется одна из программ генерации псевдослучайных чисел.

2. Случайным образом из 300 клиентов обучающей последовательности выбирается некоторый клиент, численные значения его 7 признаков вводятся в МСП, на выходе МСП формируется решение. Если решение эксперта и МСП совпадают, то численные значения всех 45 весов не изменяются. если же МСП допускает ошибку в классификации клиента, то производится модификация всех 45 весовых коэффициентов. Ошибка МСП имеет место в следующих случаях:

a. Эксперт считает выдать кредит, а МСП принимает решение в отказе выдачи кредита

b. Наоборот

При модификации весов связи ошибка в работе персептрона движется как бы в обратном направлении – от выхода к входу МСП. По известным ошибкам на выходе МСП сначала модифицируются веса связей в переходе между скрытым и выходным слоями. Затем между входным и скрытым слоями.

На этом заканчивается шаг обучения персептрона с предъявлением МСП одного образа

3. Пункт 2 продолжается до предъявления персептрону 300-го образа (клиента) обучающей последовательности. Однократное предъявление всех 300 образов обучающей последовательности называется циклом (итерацией, эпохой). В зависимости от сложности задачи процесс обучения занимает сотни или тысячи циклов.

Процедура обучения с обратным распространением ошибки рекуррентная, поэтому возникает вопрос об её останове. Разумным правилом останова рекуррентной процедуры является следующее правило:

Модуль разности значений всех 45 весовых коэффициентов на двух соседних шагах обучения

4. После этого необходимо определить эффективность обученного персептрона.

Решение эксперта	Решение персептрона
Y=1	Y=0
Y=1
Y=0

10. Правило останова переходного процесса в сети Хопфилда. Теорема Коэна (Сohen) и Гроссберга (Grossberg)

Нейро́нная сеть Хо́пфилда — полносвязная нейронная сеть с симметричной матрицей связей. В процессе работы динамика таких сетей сходится (конвергирует) к одному из положений равновесия. Эти положения равновесия являются локальными минимумами функционала, называемого энергией сети (в простейшем случае — локальными минимумами отрицательно определённой квадратичной формы на n-мерном кубе). Такая сеть может быть использована как автоассоциативная память, как фильтр, а также для решения некоторых задач оптимизации. В отличие от многих нейронных сетей, работающих до получения ответа через определённое количество тактов, сети Хопфилда работают до достижения равновесия, когда следующее состояние сети в точности равно предыдущему: начальное состояние является входным образом, а при равновесии получают выходной образ.

Память человека часто является ассоциативной; один предмет напомина&# 414f515e 1077;т нам о другом, а этот другой о третьем. Если позволить нашим мыслям, они будут перемещаться от предмета к предмету по цепочке умственных ассоциаций. Кроме того, возможно использование способности к ассоциациям для восстановления забытых образов. Если мы забыли, где оставили свои очки, то пытаемся вспомнить, где видели их, в последний раз, с кем разговаривали и что делали. Посредством этого устанавливается конец цепочки ассоциаций, что позволяет нашей памяти соединять ассоциации для получения требуемого образа.

Ассоциативная память, рассмотренная в гл. 6, является, строго говоря, автоассоциативной, это означает, что образ может быть завершен или исправлен, но не может быть ассоциирован с другим образом. Данный факт является результатом одноуровневой структуры ассоциативной памяти, в которой вектор появляется на выходе тех же нейронов, на которые поступает входной вектор.

Двунаправленная ассоциативная память (ДАП) является гетероассоциативной; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда, ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напомина&# 414f515e 1102;т процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга.

В последних публикациях [9,12] представлено несколько форм реализации двунаправленной ассоциативной памяти. Как большинство важных идей, изложенные в этих работах идеи имеют глубокие корни; например, в работе Гроссберга [6] представлены некоторые важные для ДАП концепции. В данной работе ссылки приводятся не с целью разрешения вопроса о приоритете исследовательских работ, а исключительно для освещения их вклада в исследовательскую тематику.

В ДАП конкуренция реализуется взаимным соединением нейронов внутри каждого слоя посредством дополнительных связей. Веса этих связей формируют другую весовую матрицу с положительными значениями элементов главной диагонали и отрицательными значениями остальных элементов. Теорема Кохен-Гроссберга [1] показывает, что такая сеть является безусловно стабильной, если весовые матрицы симметричны. На практике сети обычно стабильны даже в случае отсутствия симметрии весовых матриц. Однако неизвестно, какие особенности весовых матриц могут привести к неустойчивости функционирования сети.

Дата добавления: 2015-11-30