Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Мережі із зворотними зв'язками

Серед різноманітних конфігурацій нейронних мереж зустрічаються такі для яких класифікація за принципом навчання, строго кажучи, не підходить. В таких мережах вагові коефіцієнти обраховуються тільки один раз перед початком функціонування мережі. Основою для обрахунку є дані які обробляються. Все навчання мережі зводиться саме до цього обрахунку. З однієї сторони надання апріорної інформації можна розцінювати як допомогу вчителя, але з іншої - мережа фактично просто запам’ятовує еталонні зображення (вхідні вектори) до того, як на її вхід поступають реальні дані, і не може змінювати своєї поведінки, тому не можна говорити про ланку зворотнього зв’язку зі „світом” (вчителем). В попередніх лекціях ми розглядали нейронні мережі, в яких сигнал передавався тільки з входу на вихід. Такі нейроструктури називають нейромережами без зворотнього зв’язку. У мережах Гопфілда існують зворотні зв’язки, які передають сигнали від виходів до входів. Відгук таких мереж є динамічним, тобто після прикладання нового входу обраховується вихід і, проходячи по ланці зворотнього зв’язку, модифікує вхід. Потім вихід повторно обраховується і процес повторюється знову і знову. Для стійкої мережі такі послідовні ітерації приводять до все менших змін виходу, поки він не стає постійним. Для багатьох мереж цей процес ніколи не закінчується, тому їх називають нестійкими. Нестійкі мережі володіють цікавими властивостями і вивчаються як вид хаотичних систем. В лекційному курсі ми зосередимо увагу на стійких мережах, тобто на таких, які дають постійний вихід. До вирішення проблеми стійкості неможливо було передбачити котрі мережі будуть стійкими, а які будуть постійно змінювати свої виходи. Більше того, проблема виглядала настільки складною, що багато дослідників вважали її неможливою для розв’язання. Проте, в роботі [18] була отримана теорема, яка описувала підмножину мереж зі зворотними зв’язками, виходи яких в кінці кінців досягають стійкого стану. Дж. Гопфілд зробив великий вклад як в теорію, так і в застосування систем зі зворотніми зв’язками. Тому деякі з конфігурацій відомі як мережі Гопфілда. Структурна схема мережі Гопфілда приведена на рисунку 10.1. Вона складається з єдиного шару нейронів, число яких є одночасно числом входів і виходів мережі. Нульовий шар (показаний на малюнку 10.1 у вигляді кульок) не виконує обчислювальної функції, а лише розподіляє виходи у зворотній бік на входи. Кожен нейрон пов’язаний зі всіма іншими нейронами (часто ці зв’язки називають синаптичними як це прийнято при розгляді біологічного нейрона), а також має один вхід (вхідний синапс), через який здійснюється ввід сигналу.

Рис. 10.1. Структурна схема мережі Гопфілда.

Коли ця мережа використовується в якості асоціативної пам’яті, тоді її завдання формулюється наступним чином. Відомий деякий набір двійкових (бінарних) сигналів (зображень, звукових оцифрованих сигналів, інших даних, що описують деякі об’єкти або характеристики процесів), які вважаються еталонними. Мережа повинна вміти з довільного неідеального сигналу, поданого на її вхід, виділити („згадати” по частковій інформації) відповідний еталон (якщо такий є) або „зробити висновок” про те, що вхідні дані не відповідають жодному з еталонів. В загальному випадку, довільний сигнал може бути описаний вектором , -число нейронів в мережі та розмірність вхідних і вихідних векторів. Кожний елемент дорівнює +1, або –1. Позначимо вектор, який описує -ий еталон через , а його компоненти, відповідно , , де -число еталонних зображень. Коли мережа розпізнає яке-небудь еталонне зображення на основі наданих їй даних, її виходи будуть містити саме це зображення, тобто , де -вектор вихідних значень мережі: . В іншому випадку, вихідний вектор не співпадає ні з одним з еталонних.



Якщо, наприклад, сигнали є деякими зображеннями, то, відобразивши в графічному вигляді дані з виходу мережі, можна буде побачити картинку, яка повністю співпадає з однією з еталонних (у випадку успіху) або ж „довільну імпровізацію” мережі (у випадку невдачі).

Загрузка...

Якщо в перших мережах Гопфілда стан кожного нейрона змінювався в дискретні випадкові моменти часу, то в наступних роботах стани нейронів могли змінюватися одночасно. Так як виходом бінарного нейрона може бути тільки нуль або одиниця (проміжних рівнів немає), то біжучий стан мережі є двійковим числом, кожний біт якого є сигналом деякого нейрона. Функціонування мережі легко візуалізується геометрично. На малюнку 10.2 показано випадок двох нейронів у вихідному шарі, причому кожній вершині квадрату відповідає один із чотирьох станів системи (00,01,10,11). На Рисунку 10.3 показано трьохнейронну систему, представлену кубом (в трьохмірному просторі). В загальному випадку система з нейронів має різних станів і може бути представлена вимірним гіперкубом.


Рис.10.2. Два нейрони породжують систему з чотирма станами.

 

Рис.10.3. Три нейрони породжують систему з вісьмома станами.

Коли подається новий вхідний вектор, мережа переходить з вершини у вершину, поки не стабілізується. Стійка вершина визначається величинами ваг зв’язків (синаптичними вагами), поточними входами і величиною порогу. Якщо вхідний вектор частково неправильний або неповний, то мережа стабілізується у вершині, що лежить найближче до бажаної.

Ваги між шарами цієї мережі представляють у вигляді матриці розміру . В роботі [18] показано, що мережа зі зворотніми зв’язками буде стійкою, якщо її матриця симетрична і має нулі на головній діагоналі: , для всіх . Проте симетрія мережі є достатньою, але не необхідною умовою для стійкості системи. Існує багато стійких систем, наприклад системи, в яких діагональні елементи матриці відмінні від нуля. Стійкість мережі може бути доведена математично шляхом введення функції Ляпунова [1]. Допустимо, що знайдена функція котра завжди зменшується при зміні стану мережі. В процесі функціонування мережі вона повинна досягти мінімуму і перестати змінюватись тим самим гарантуючи стійкість мережі. Для даної мережі функцію Ляпунова можна ввести наступним чином:

, (10.1)

де - штучна енергія мережі, - поріг нейрона .

Обчислимо зміну енергії що викликана зміною стану нейрона :

, (10.2)

де - зміна виходу нейрона .

Якщо величина нейрона більша порогу тоді вираз у квадратних дужках (10.2) буде додатній а величина зміни виходу нейрона може бути тільки додатною, а бо рівною нулю. Тому енергія мережі зменшується або залишається незмінною. Аналогічно енергія мережі буде зменшуватись (або залишатись незмінною) і у випадку коли величина нейрона менша порогу . Таким чином, при довільній зміні стану нейронів у мережі енергія буде зменшуватись або залишатись незмінною, що неминуче приведе мережу у стан з мінімальною енергією що і означає стійкість мережі.


Дата добавления: 2015-07-17; просмотров: 257 | Нарушение авторских прав


Читайте в этой же книге: Проблема перенавчання нейромережі | Проблема паралічу нейронів та шляхи її вирішення. | Узагальнення даних. Прототипи задач. | Алгоритм навчання змагального шару нейронів. | Приклад простої мережі для кластеризації даних. | Прототипи задач: пониження розмірності даних, кластеризація. | Нейрон – індикатор. | Правило навчання Геба. | Правило навчання Ойа. | Правило навчання Ойа та його використання для навчання нейромережі. |
<== предыдущая страница | следующая страница ==>
Карти Кохонена.| Використання мережі зустрічного поширення для стиску даних.

mybiblioteka.su - 2015-2018 год. (0.006 сек.)