Генетический алгоритм отбора входных данных

Генетический алгоритм отбора входных данных - Genetic Algorithm Input Selection пакета ST Neural Networks реализует элегантный автоматизированный подход к выбору значимых входных данных. Можно считать его «интеллектуальной» формой метода проб и ошибок.

Этот алгоритм экзаменует большое число комбинаций входных перемен­ных с помощью вероятностных и обобщенно-регрессионных нейронных сетей. Сети этих типов выбраны потому, что для них общее время обуче­ния/оценки очень мало, а также потому, что они очень сильно страдают от присутствия ненужных входных переменных (и поэтому являются хоро­шим средством их обнаружения).

Каждый возможный вариант набора входных переменных можно пред­ставить в виде битовой маски. Ноль в соответствующей позиции означает, что эта входная переменная не включена во входной набор, единица - что включена. Таким образом, маска представляет собой строку битов - по одному на каждую возможную входную переменную - и Генетический алгоритм отбора входных данных - Genetic Algorithm Input Selection оптимизирует такую битовую строку.

Алгоритм следит за некоторым набором таких маскирующих строк, оце­нивая каждую из них по контрольной ошибке (если были заданы кон­трольные наблюдения; если нет, то вместо нее используется ошибка обу­чения). По значениям ошибки производится отбор лучших вариантов ма­сок, которые комбинируются друг с другом с помощью искусственных генетических операций: скрещивания и мутации (случайных изменениях отдельных битов). Поскольку часто бывает желательно иметь как можно меньше входных переменных, даже ценой некоторого увеличения ошиб­ки, можно включить в алгоритм штраф за элемент (Unit Penalty), который будет прибавляться к ошибке при добавлении каждой новой переменной.

Лучшая из найденных маскирующих строк выводится на экран. Вы може­те просмотреть ее, чтобы понять, какие переменные были отобраны, или же просто нажать кнопку Применить - Apply - программа ST Neural Networks автоматически сделает неучитываемыми все отвергнутые алго­ритмом переменные из исходного набора данных. Алгоритм проверяет только те переменные, которые обозначены как входные, поэтому если вы не хотите, чтобы какие-то переменные попали во входной набор, просто пометьте их как неучитываемые до запуска генетического алгоритма.

Понижение размерности

Обсуждение

Другой - альтернативный или дополняющий первый - подход к отсече­нию лишних переменных основан на понижении размерности. Цель его заключается в таком преобразовании входных данных, чтобы та же ин­формация была записана с помощью меньшего числа переменных. Этот метод позволяет распознавать ситуации, когда истинная размерность дан­ных меньше числа входных переменных. Иными словами, те же данные иногда можно задать с помощью меньшего числа переменных, если найти подходящее преобразование.

В пакете ST Neural Networks реализованы различные методы понижения размерности, и самый распространенный из них - это анализ главных компонент, сокращенно АГК (Bishop, 1995; Press, 1992). Метод представ­ляет собой такое линейное преобразование входных данных, при котором количество переменных уменьшается до заданного предела, но при этом максимально сохраняется вариация данных. Цель состоит в том, чтобы сохранить как можно больше информации, однако здесь же следует заме­тить, что не всегда направления максимальной вариации данных несут максимальную информацию.

Дата добавления: 2015-11-30