Автоматический конструктор сети

Одна из наиболее трудных задач при построении нейронной сети - выбор архитектуры, а после того, как архитектура выбрана, - задание ее свобод­ных параметров (количества скрытых элементов и управляющих парамет­ров алгоритма обучения). Правильный выбор свободных параметров в большой степени зависит от сложности задачи, которую нужно решить, и поскольку заранее неизвестно, насколько задача сложна, необходим ряд экспериментов.

Автоматический конструктор сети пакета ST Neural Networks подходит к этому как к задаче оптимизации, и с помощью довольно сложных методов осуществляет автоматический поиск подходящего устройства сети. Этот метод не может уменьшить сложность исходной задачи или присутст­вующий в ней уровень помех, поэтому нет гарантии, что будет найдено абсолютно лучшее решение. Кроме того, метод требует большого време­ни счета, потому что при этом выполняется очень большое число экспе­риментов.

В то же время проведение большого числа экспериментов вручную требу­ет еще большего времени и участия пользователя, тогда как автоматиче­ский конструктор сети можно, например, оставить работать в автономном режиме на длительное время, в течение которого он успеет перепробовать сотни тысяч вариантов даже для весьма сложной задачи. Следовательно, этот алгоритм имеет больше шансов построить хорошую сеть, чем даже очень опытный исследователь.

Пользователь может указать, какие типы сетей нужно пробовать и сколь­ко итераций каждого теста проводить. В общем случае автоматический конструктор сети тестирует каждый тип архитектуры в два этапа.

Сначала, путем выявления минимумов, ищется «удовлетворительное» решение задачи. На это уходит обычно 10-20 итераций. На этом этапе могут попадаться локальные минимумы в пространстве поиска, вызванные помехами в данных.

Затем для более тщательного поиска применяется один из вариантов ме­тода «отжига». Здесь последовательно пробуются различные варианты архитектур; и при этом поиск концентрируется на наиболее перспектив­ных участках. Этот алгоритм уже вполне может справиться с локальными минимумами и не подвержен влиянию помех.

При автоматическом конструировании сети можно задать параметр Штраф за элемент - Unit Penalty. Это будет побуждать алгоритм искать нужный вариант среди небольших сетей и даст гарантию того, что в про­странстве поиска найден минимум.

При тестировании многослойных персептронов (этот тип сетей сложнее всего для построения) для большей эффективности автоматический кон­структор сети использует метод спуска по сопряженным градиентам с ранней остановкой (сразу же после начала переобучение).

Дата добавления: 2015-11-30