Условия остановки

До сих пор мы всякий раз обучали сеть в течение заранее заданного числа эпох (100). Это вполне разумно, особенно при интерактивном обучении сети, когда в любой момент можно нажать на кнопку Стоп - Stop, чтобы прервать обучение, если окажется, что что-то идет не так, как надо.

Однако существуют более удобные способы (особенно при длительном обучении) сказать сети, когда она должна прекратить обучение. В пакете 57' Neural Networks это делается в окне Условия остановки - Stopping Conditions, которое изображено на этом рисунке (доступ через пункт Условия остановки - Stopping Conditions... меню Обучение- Дополнительно - Train-Auxiliary или кнопкой ).

Те или иные условия остановки используются во всех итеративных алгоритмах обучения пакета ST Neural Networks, включая обратное распространение и метод сопря­женных градиентов. Кроме максимального числа эпох (Epochs), можно задать уровень допустимой ошибки (Target Error), при достижении кото­рого обучение должно прекращаться, или величину минимального улуч­шения (Minimum Improvement) ошибки за фиксированное число эпох.

Возможно, самый полезный из этих параметров - величина минимального улучшения (Minimum Improvement). Смысл ее в следующем: если на про­тяжении заданного числа эпох (параметр Окно - Window) ошибка обуче­ния и контрольная ошибка не улучшились на эту величину, обучение пре­кращается.

Например, положим параметр Окно - Window равным одной эпохе, по­вторно инициализируем сеть и обучим ее. Если при этом величины мини­мального улучшения обе взяты равными нулю, программа ST Neural Networks остановит обучение, как только обучающая или контрольная ошибка начнет расти.

Если вас интересует только момент начала роста контрольной ошибки, то нужно установить величину минимального улучшения ошибки для обу­чающего множества равной 1,0, а для контрольного множества оставить ее равной 0,0. Это приведет к тому, что даже сильный рост ошибки обу­чения будет считаться допустимым, но малейший рост контрольной ошибки - недопустимым; таким образом, фактически будет проверяться только контрольная ошибка.

Замечание. При использовании метода обратного распространения ошибка обучения действительно иногда может расти. Если же использу­ется метод сопряженных градиентов, то ошибка обучения, в отличие от контрольной ошибки, ухудшаться не может.

Одна из трудностей, которая встречается при таком подходе, состоит в том, что в процессе обучения ошибка может плавать вверх-вниз. Это можно учесть с помощью параметра Окно - Window, так чтобы обучение останавливалось только в том случае, если результаты неудовлетвори­тельны на нескольких эпохах подряд. Например, если задать «окно» в пять эпох, то обучение прекратится только в том случае, когда ошибка ухудшилась, а затем на протяжении пяти эпох не достигла своего преды­дущего наилучшего значения.

Дата добавления: 2015-11-30