Основы теории управления: генетические алгоритмы 4 страница

Схема непосредственного кодирования означает, что каж­дая связь нейронной сети непосредственно задается его двоичным представлением. При таком подходе двоичная последо­вательность (хромосома), представляющая связи нейронной сети, имеет вид комбинации строк (или столбцов) матрицы С. Пример рассматриваемого способа кодирования для п = 5 приведен на рис. 15.

Рис. 15. Пример непосредственного кодирования матрицы связей для нейронной сети.

Если значение п обозначает количество нейронов в сети, то связи между этими нейронами будут представляться двоичной по­следовательностью, имеющей длину п². Очевидный недостаток тако­го способа кодирования заключается в стремительном увеличении длины генотипа при расширении нейронной сети. Однако в обсужда­емую схему представления можно легко внести ограничения, которые сократят длину хромосом. В частности, могут приниматься во внимание только однонаправленные связи, что позволит учитывать только те элементы матрицы С, которые задают связи данного узла (нейрона) со следующим узлом. В этом случае хромосома для приме­ра на рис. 15 будет иметь вид 0110110011.

Схема непосредственного кодирования может одновременно примяться для определения, как связей, так и их весов. Этот способ кодирования применяется, главным образом, для небольших нейрон­ных сетей.

Схема косвенного кодирования - это способ сокращения длины описания связей, который заключается в кодировании только наиболее важных свойств, но не каждой связи нейронной сети. По этой причине заметным достоинством схемы косвенного коди­рования становится компактное представление связей. Такая схема выглядит более обоснованной с биологической точки зрения. Соглас­но современной нейрологии, невозможно прямо и независимо опи­сать закодированной в хромосомах генетической информацией всю нервную систему. Такой вывод следует, например, из факта, что гено­тип человека состоит из гораздо меньшего количества генов, чем чис­ло нейронов в его мозге. Известны различные методы косвенного кодирования.

Второй этап эволюционного проектирования архитектуры ней­ронной сети состоит (в соответствии с типовым циклом эволюции) из следующих шагов:

1) Декодирование каждой особи текущей популяции для опи­сания архитектуры нейронной сети.

2) Обучение каждой нейронной сети с архитектурой, получен­ной на первом шаге, с помощью заранее заданного правила (некото­рые его параметры могут адаптивно уточняться в процессе обуче­ния). Обучение должно начинаться при различных случайно выбира­емых начальных значениях весов и (при необходимости) параметров правила обучения.

3) Оценивание приспособленности каждой особи (закодиро­ванной архитектуры) по достигнутым результатам обучения, т.е. по наименьшей целой среднеквадратичной погрешности обучения либо на основе тестирования, если наибольший интерес вызывает способ­ность к обобщению, наименьшая длительность обучения или упроще­ние архитектуры (например, минимизация количества нейронов и связей между ними).

4) Репродукция особей с вероятностью, соответствующей их приспособленности или рангу в зависимости от используемого мето­да селекции.

5) Формирование нового поколения в результате применения таких генетических операторов, как скрещивание, мутация и/или ин­версия.

Блок-схема, иллюстрирующая эволюцию архитектур, пред­ставлена на рис. 16.

Рис. 16. Блок-схема генетического алгоритма для поиска наилучшей архитектуры нейронной сети (случай эволюции архитектур).

Если говорить об обучении сети (шаг 2), то наиболее часто встречается развитие топологии однонаправленных сетей с примене­нием алгоритма обратного распространения ошибки с целью локаль­ного обучения. Известны работы, в которых описывается применение генетического алгоритма для одновременной адаптации и весов и то­пологии. В других исследованиях допускались соединения в пределах одного слоя, обратные связи, а также обуче­ние на основе конкуренции (competetive learning) и по Хеббу.

Достоинством эволюционного подхода считается тот факт, что функцию приспособленности можно легко определить специально для эволюции сети со строго определенными свойствами. Например, если для оценивания приспособленности использовать результаты тестирования вместо результатов обучения, то будет получена сеть с лучшей способностью к обобщению.

Эволюция правил обучения

Известно, что для различных архитектур и задач обучения тре­буются различные алгоритмы обучения. Поиск оптимального (или почти оптимального) правила обучения, как правило, происходит с учетом экспертных знаний и часто - методом проб и ошибок. Поэто­му весьма перспективным считается развитие автоматических мето­дов оптимизации правил обучения нейронных сетей. Развитие чело­веческих способностей к обучению от относительно слабых до весь­ма сильных свидетельствует о потенциальной возможности примене­ния эволюционного подхода в процессе обучения искусственных ней­ронных сетей.

Схема хромосомного представления в случае эволюции пра­вил обучения должна отражать динамические характеристики. Стати­ческие параметры (такие как архитектура или значения весов сети) кодировать значительно проще. Попытка создания универсальной схемы представления, которая позволила бы описывать произволь­ные виды динамических характеристик нейронной сети, заведомо об­речена на неудачу, поскольку предполагает неоправданно большой объем вычислений, требуемых для просмотра всего пространства правил обучения. По этой причине на тип динамических характерис­тик обычно налагаются определенные ограничения, что позволяет выбрать общую структуру правила обучения. Чаще всего устанавливается, что для всех связей нейронной сети должно применяться од­но и то же правило обучения, которое может быть задано функцией вида

где t - время, Δw - приращение веса, Xi_j - так называемые локальные переменные, θi₁i₂...i_k - вещественные коэффициенты.

Главная цель эволюции правил обучения заключается в подбо­ре соответствующих значений коэффициентов θi₁i₂...i_k.

Рис. 17. Блок-схема генетического алгоритма для поиска наилучшего правила обучения (случай эволюции правил обучения).

Большое количество компонентов уравнения может сделать эволюцию слишком медленной и практически не­эффективной, поэтому в условия часто вводятся дополнительные ограничения, осно­ванные на эвристических посылках. Блок-схема, иллюстрирующая эволюцию архитектур, пред­ставлена на рис. 17.

Представим типовой цикл эволюции правил обучения.

1) Декодирование каждой особи текущей популяции для опи­сания правила обучения, которое будет использоваться в качестве алгоритма обучения нейронных сетей.

2) Формирование множества нейронных сетей со случайно сгенерированными архитектурами и начальными значениями весов, а также оценивание этих сетей с учетом их обучения по правилу, по­лученному на шаге 1, в категориях точности обучения или тестирова­ния, длительности обучения, сложности архитектуры и т.п.

3) Расчет значения приспособленности каждой особи (закоди­рованного правила обучения) на основе полученной на шаге 2 оцен­ки каждой нейронной сети, что представляет собой своеобразный вид взвешенного усреднения.

4) Репродукция особей с вероятностью, соответствующей их приспособленности или рангу в зависимости от используемого мето­да селекции.

5) Формирование нового поколения в результате применения таких генетических операторов, как скрещивание, мутация и/или ин­версия.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И. Д. Рудинского. - М.: Горячая линия -Телеком, 2007. - 452 с: ил.

2. Eberhart R. C, The role of genetic algorithms in neural network query-based learning and explanation facilities, Proceedings of International Workshop on Combinations of Genetic Algorithms and Neural Networks, COGANN-92, 1992, pp. 169-183.

3. Fogel D. В., Evolutionary Computation. Towards a New Philosophy of Machine Intelligence, IEEE Press, 1995.

4. Goldberg D. E., Algorytmy genetyczne i ich zastosowania, WNT, Warszawa, 1995.

5. Harp S. A., Samad Т., Guha A., Towards the genetic synthesis of neural networks, in: Proceedings of the Third International Conference on Genetic Algorithms and Their Applications; Schaffer J. D. (ed.), Morgan Kauffmann, San Mateo, CA, 1989, pp. 360-369.

6. Holland J. H., Adaptation in Natural and Artificial Systems, Ann Arbor: University of Michigan Press, 1975.

7. Michalewicz Z., Genetic Algorithms + Data Structures = Evolution Programs, Springer-Verlag, 1992.

8. Miller G. F, Todd P. M., Hagde S. U., Designing neural networks using genetic algorithms, in: Proceedings of the Third International Conference on Genetic Algorithms and Their Applications, Schaffer J. D. (ed.), Morgan Kauffmann, San Mateo, CA, 1989, pp. 379-384.

9. Schaffer J. D., Whitley L, Eshelman J., Combinations of Genetic Algorithms and Neural Networks: A Survey of the State of the Art, Proceedings of International Workshop on Combinations of Genetic Algorithms and Neural Networks, COGANN-92, 1992.

10. Whitley D., Applying genetic algorithms to neural network learning, Proceedings of the Seventh Conference of the Society of Artificial Intelligence and Simulation of Behavior, Sussex, England, Pitman Publishing, 1989, pp. 137-144.

11. Whitley D., Starkweather Т., Bogart C, Genetic algorithms and neural networks: Optimizing connections and connectivity, Parallel Computing, 1990, nr 14, pp. 347-361.

12. Yao X., A review of evolutionary artificial neural networks, International Journal of Intelligent Systems, 1993, pp. 539-567.

13. FlexTool (GA) M2.1, Flexible Intelligence Group, L.L.C, Tuscaloosa, AL 35486-1477, USA.

14. Evolver - the Genetic Algorithm Problem Solver, Axcelis, Inc., 4668 Eastern Avenue N.. Seattle, WA 98103, USA.

Дата добавления: 2015-11-14