Почему возникает научение?

Мы можем определить научение как изменение в вероятности ответной реакции, но одновременно с этим, мы должны определить условия, при которых оно возникает. Для этого мы должны изучить некоторые независимые переменные, вероятность ответной реакции которых является функцией. И тогда здесь мы встречаемся уже с другим типом теории научения.

Эффективная лабораторная демонстрация Закона Сохранения (Low of Effect) может быть организованна следующим образом. Голубь, похудевший на 80% от его изначального веса, приучается к небольшой полукруглой клетке в виде амфитеатра, и кормится в течении нескольких дней из кормежки, которую экспериментатор предоставляет, открывая ручной выключатель. Демонстрация состоит в укреплении выбранной ответной реакции. Демонстрация состоит в укреплении выбранной ответной реакции через соответствующее подкрепление едой. Например, наблюдая за клеткой через закрепленную на одной из стен шкалу, можно предоставлять еду всякий раз, когда голова голубя поднимается до определенной отметки. Эта отметка, в предела нескольких минут, подымается все выше и выше, до тех пор, пока голубь не будет ходить по клетке с максимально поднятой головой. На другом примере, птица была обусловлена клевать мрамор, расположенный на полу амфитеатра. Этого можно добиться за несколько минут подкрепляя последовательные шаги. Первый раз еда предоставляется, когда птица просто двигается около мрамора, потом когда она уже смотрит вниз в направлении мрамора, позже – когда она двигает головой по направлению к мрамору, и, наконец, когда она клюет его. Любой, кто это видел, знает, что Закон Сохранения не является теорией. Он лишь просто определяет порядок осуществления действий для изменения вероятности выбранной ответной реакции.

Но, когда мы пытаемся сказать, почему подкрепление получило такой эффект, возникают теории. Cчитается, что научение имеет место из-за того, что подкрепление - приятное, удовлетворяющее, снижающее напряжение и т.д. Обратный процесс затухания объясняется аналогичными теориями. Если уровень реагирования изначально достигает высоких показателей из-за подкрепления, затем, прекращается, реакция наблюдается все реже и реже. Одна из общепринятых теорий объясняет это через доказательство того, что сконструированное состояние подавляет поведение. Это "экспериментальное подавление" или "реакционное подавление" должно быть приписано другой измерительной системе, т.к ничего на уровне поведения не является аналогичным в противопоставлении возбуждения и подавления. Степень реагирования равномерно возрастает благодаря одним операциям и снижается благодаря другим. Некоторые эффекты в общем интерпретируют как демонстрацию освобождения от подавляющих сил, но может интерпретироваться и иными путями. Дис(не)подавление, к примеру это не необходимость раскрытия подавляющей силы, это м.б. и показатель дополнительной силы внесенной внешней переменной. Процесс спонтанного восстановления часто ссылается на поддержку понятия подавление и имеет альтернативное определение, кот будет приведено ниже.

Давайте оценим вопрос, почему в научении, имеет место возврат к некоторым данным. Поскольку обуславливание обычно слишком быстрый процесс, для того, чтоб его проследить, процесс же затухания представляет собой более удачный вариант. Число различных типов кривых постоянно получаемых от крыс и голубей получаются благодаря использованию предшествующего подкрепления. Определяя некоторые релевантные условия мы можем ту нишу, которая осталась для теоретических процессов.

Очевидно утверждение о том, что время между обуславливанием и затуханием имеет небольшую силу. Крыса живет слишком недолгую жизнь, в то время как голуби могут жить 10-15 лет и является идеальным объектом. Более пяти лет назад 20 голубей были научены клевать прозрачную кнопку, на которую проецировались сложные зрительные паттерны. Подкрепление зависимо от сохранения высокой и устойчивой степени процесса ответных реакций, а так же от удара клювом в особую деталь визуального паттерна. Эти птицы были выбраны для изучения способности сохранения. Они были перемещены в обычные условия, где, живя по четыре голубя в одной клетке, служили материалом для селекции. Некоторые группы были протестированы на затухание в конце 6 месяцев, одного года, двух лет и 4-х лет. Перед тестом каждая птица помещалась в отдельную клетку. Контролируемый график кормления позволил снизить их вес на 80%. Птица на протяжении нескольких дней питалась в тускло освещенном экспериментальном блоке без кнопки. В течение этого времени эмоциональные реакции на блок исчезли. В день испытания птица была помещена в затемненную коробку. Прозрачная кнопка была предоставлена, но не освещена. Никаких ответных реакций не было произведено. Когда же паттерн проектировался на кнопку, то все четыре птицы давали быструю и экстенсивную ответную реакцию. Рис. 2 показывает наибольшую полученную кривую. Эта птица клевала кнопку в пределах двух секунд после предъявления зрительного паттерна, которого она не видела четыре года, и клевала точно в то местно, на которое давалось дифференцированное подкрепление. Она продолжала давать ответные реакции в течение следующего часа, производя порядка 700 ответных реакций. Это составляет порядка 1/4 и 1/2 ответных реакций, которые бы она произвела, если бы угасание не было задержано на четыре года, но зато во всем остальном кривая на графике довольно типична.

Уровень мотивации является другой переменной, которая так же будет принята во внимание. Пример с эффектом голода был описан где-то в другом месте [3]. Ответная реакция нажатия на рычаг была установлена у восьми крыс с графиком периодического подкрепления. Они питались главным образом своим рационом по выбранным дням, так, чтобы степень процесса ответных реакций в последующие дня была поочередно высокой и низкой. У двух групп по четыре крысы, разделенных на основе их степени ответных реакций, было сохранено периодическое подкрепление при этих условиях. Таким образом, ответная реакция была погашена – в одной группе в выбранные дни, когда их не кормили и они были голодны; в другой – когда их кормили и они были не столь голодны как первая группа (было съедено такое же количество еды как и в неэкспериментальные дни). Результат показан на Рис. 3. Верхний график дает сырые данные. Уровень голода обозначен точками Р на абсциссе – степени, преобладающей в процессе периодического подкрепления. Последующие точки показывают спад при угасании. Если мы умножим самый низкий промежуток кривой на факторы, выбранные для максимального снижения значения точек Р, то полученная кривая, как видно на нижнем графике, будет довольно сильно опущена. Несколько других экспериментов на крысах и голубях так же подтвердили этот общий принцип. Если полученное соотношение процесса ответных реакций преобладает над периодическим подкреплением, то наклоны последующего угасания кривых показывают такое же соотношение. Уровень голода определяет наклон угасания кривой, а не ее кривизну.

Другая переменная – сложность процесса ответной реакции – особенно уместна, поскольку она была использована для проверки теории реакций угасания. Было предположено, что ответная реакция, требующая значительной энергии, вызовет более сильную ответную реакцию угасания, нежели простое ответное реагирование, и поэтому приведёт к быстрейшему угасанию. Теория говорит о том, что кривая угасания изменяется не только вследствие её наклона. Однако очевидно, что сложность процесса ответной реакции, действует точно так же, как и чувство голода, изменяя наклон. Некоторые исследования были проведены, однако не напечатаны. Голубь подвешивается в куртке, которая ограничивает его крылья и ноги, но оставляет его голову и шею свободными для ответной реакции на стимулы и пищу. Поведение голубя в данной ситуации весьма схоже с поведением птицы, свободно передвигающейся в экспериментальной коробке. Однако использование курточки имеет своим преимуществом то, что ответная реакция на стимул может быть облегчена или усложнена путём регулирования расстояния, которое птица должна преодолеть. В одном эксперименте эти расстояния были выражены в семи равных, но произвольных частях. На расстоянии 7 птица едва ли могла достичь стимула, на расстоянии 3 птица могла достичь стимула без какого-либо ощутимого вытягивания шеи. Периодическое подкрепление определило прямую линию, по которой предоставлялось возможным наблюдать эффект сложности путём быстрой смены местоположения во время эксперимента. Каждая из 5 записей на фигуре 4 охватывает 15-ти минутный экспериментальный период с периодическим подкреплением. Расстояния между птицей и стимулом представлены в виде чисел над записями. Было отмечено, что уровень ответной реакции на расстоянии 7 в общем принципиально низок, в то время как уровень ответной реакции на расстоянии 3 высок. Средние расстояния дали средние наклоны кривых. Также стоит отметить, что изменения при переходе от одной позиции к другой ощущаются сразу же. Если повторяющаяся ответная реакция в сложной ситуации реагирования должно было привести к значительной ответной реакции угасания, то следовало бы ожидать, что уровень ответной реакции понизится при прошествии некоторого времени и возвратится к простым ответным реакциям. И, наоборот, если простая ответная реакция должна привести к меньшей ответной реакции угасания, то следовало бы ожидать более высокого уровня ответных реакций по прошествии некоторого времени. Ничего похожего не возникает. Более «быстрое угасание сложных ответных реакций» является довольно-таки смутным вопросом. На постоянный наклон что-то воздействует, однако влияния на кривую может и не быть.

Одним из путей решения вопроса, почему изменяется угасание, является признание того, что угасание – это процесс истощения, сравнимый с потерей тепла от погружения в источник или с падением уровня воды в резервуаре, когда отверстие для слива открыто. Обуславливание строит предосонову для ответных реакций – «резерв» - которые угасание опустошает. Это, возможно, оправдательное определение на уровне поведения. Теория резерва не обязательно должна восприниматься как полноценная теория, поскольку она не определена в количественном представлении. Операционально она может быть определена как теория вероятностного изменения угасания. И даже так, лингвистически, она утверждает моментальное обусловливание ответных реакций. Но такой подход ни коим образом не является полезным понятием, и не взглядом на то, что угасание – это процесс истощения. Он просто добавляет многое в наблюдаемые факты изменения наклонов кривых угасания определённым образом.

Однако, как бы то ни было существуют две переменные, которые влияют на уровень ответных реакций, а так же действуют во время угасания и влияют на изменение кривой угасания. Одна из них связана с эмоциями. Когда мы не можем подкрепить ответные реакции, которые ранее были подкреплены, мы не только инициируем процесс угасания, но устанавливаем эмоциональное реагирование – возможно, это то, что обычно называют фрустрацией. Голубь воркует в некой опознаваемой модели, быстро носится по клетке, чистит перья, или быстро хлопает крыльями в позиции готовности, что предполагает поло-ролевое поведение. Такое поведение соревнуется с реагированием на стимул для клевания и, возможно, такого поведения достаточно для того чтобы объяснить упадок уровня ответных реакций в ранней стадии угасания. Также возможно, что возможность ответных реакций, основанная на лишении пищи, прямо редуцируется как часть эмоциональной реакции. Однако, какой бы природе не принадлежало данное явление, влияние этой переменной сходит на нет уже в ходе адаптации. Повторяющиеся изменения в кривых угасания становятся ровнее и, короче говоря, есть совсем немного доказательств того, что существует эмоциональная модификация уровня ответных реакций.

Вторая переменная имеет гораздо более серьёзное влияние. Максимум ответных реакций во время угасания достигается лишь в случае точнейшего воспроизведения всех обстоятельств, при которых данные ответные реакции были подкреплены. У крысы, наученной в присутствии света, не будет полностью погашаться ответная реакция без присутствия света. Она будет более быстро давать ответную реакцию при условии появления света. Это так и для других лабораторных экспериментов. Например, следующий эксперимент. 9 голубей были научены реагировать на жёлтый треугольник под влиянием (Intermittent) подкрепления. В серии, представленной на фигуре 5 птицы сперва подкреплялись этой моделью в течение 30 минут. Совокупная кривая определённо представляет собой прямую линию, показывающую более чем 1100 ответов на одного голубя в течение этого времени. С того времени как жёлтый треугольник был заменён на красный треугольник, никакие из ответных реакций не были подкреплены. Влияние было чётко определено, со скудным восстановлением в последующие 15 минут. Но когда жёлтый треугольник был помещен обратно, то всё восстановилось: появилась обычная кривая угасания и быстрая ответная реакция. Схожие эксперименты показали, что высота случайного тона, форма модели, необходимой к запоминанию, размер модели, если они присутствуют во время обуславливания, в какой-то мере контролируют уровень ответных реакций во время угасания. Некоторые свойства более влиятельны, чем остальные, и их также возможна количественная оценка. Изменяя ценность некоторых стимулов в случайном порядке во время повторяющихся процессов угасания, можно просчитать коэффициент генерализации в уровнях ответных реакций под влиянием ценности каждого стимула.

Что-то похожее может продолжаться и во время угасания. Давайте предположим, что все ответные реакции на ключ (стимул) были подкреплены и что за каждым следовал короткий период приема пищи. Когда мы гасим поведенческие реакции, мы создаем ситуацию, в которой ответные реакции не подкрепляются, в котором не происходит приема пищи, и в которой, возможно, присутствуют новые эмоциональные ответные реакции. Ситуация может с легкостью быть такой же новой как красный треугольник после желтого. Если оно так, то это может объяснить падение уровня (интенсивности) во время угасания. Мы могли бы получить ровную кривую, имеющую форму как у кривой угасания, между вертикальными линиями (рис. 5) постепенно сменяя цвет треугольника с желтого на красный. Такое могло бы случиться даже в том случае, если не было другого типа угасания. Эти условия угасания, вероятно, предполагают растущую новизну в экспериментальной ситуации. Поэтому ли кривая угасания изгибается?

Некоторые подтверждения исходят из данных о «спонтанном восстановлении». Даже после продолжительного угасания организм будет часто давать ответные реакции с высокой интенсивностью на, по крайней мере, несколько моментов в начале другой серии опытов. Одна теория утверждает, что это говорит о спонтанном восстановлении после определенного типа торможения, но возможно и другое объяснение. Не важно, как тщательно обращаются с животным, но стимуляция, совпадающая с началом эксперимента, должна быть сильнее относительно всего того, что происходит в последующей части эксперимента. Ответные реакции, которые были подкреплены в момент помещения организма в экспериментальную ситуацию, или сразу после, также предполагают такой тип стимуляции. В ситуации угасания это присутствует только на протяжении нескольких моментов. В случае восстановления; последующие ответные реакции появляются, как и в ситуации с желтым треугольником. Единственный способ достигнуть полного угасания при стимуляции, которая начала эксперимент – это повторить эксперимент заново.

Другие доказательства эффекта новизны исходят из исследований периодического подкрепления. Тот факт, что прерывающееся подкрепление производит большую кривую угасания, чем непрерывное подкрепление, является неприятной трудностью для тех, кто ожидает простой связи между количеством подкреплений и числом ответных реакций в угасании. Но такая связь в действительности является весьма сложной. Одним из результатов периодического подкрепления является эмоциональные изменения. Это может быть причиной гладкой формы последующих кривых угасания, но не причиной их большего размера. Последнее можно объяснить недостатком новизны в ситуации угасания. В случае периодического подкрепления многие ответные реакции появляются без подкрепления и без недавнего приема пищи. Следовательно, ситуация угасания не является полностью новой.

Периодическое подкрепление, тем не менее, не является простым решением. Если мы даем регулярное подкрепление, – скажем, каждую минуту, – то организм вскоре сформирует способность к дифференциации. Небольшая ответая реакция или её отсутствие возникает сразу после подкрепления, так как стимуляция от еды соотносится с отсутствием последующего подкрепления. Насколько быстро может развиться дифференциация показано на рис. 6, который отражает первые пять кривых, полученных из экспериментов с прерывающимся подкреплением голубя, где каждый экспериментальный период длился 15 минут. В пятом периоде (или примерно после часа периодического подкрепления) дифференциация дает паузу после каждого подкрепления, в результате получается ярко ступенчатая кривая. В результате этой дифференциации птица почти всегда после подкрепления дает быстрые ответные реакции. Это и является основой для другой дифференциации. Быстрые ответные реакции становятся благоприятным стимулирующим условием. Хороший пример действия последующих кривых угасания показан на рис.7. Ответные реакции этого голубя подкреплялись один раз каждую минуту в течение ежедневных экспериментальных периодов, длящихся 15 минут в течение несколько недель. Кривая угасания показывает, что птица начинает давать ответные реакции на уровне, превалирующем над предыдущим. Быстрое позитивное ускорение в начале потеряно при сокращении записи. Голубь быстро достигает и поддерживает уровень, который выше общего во время периодического подкрепления. Во время этого периода голубь создает стимулирующее условие, которое вначале оптимально соотносилось с подкреплением. В результате, когда появляется определенное истощение, уровень быстро падает до намного меньшей, но отчетливо стабильной величины и потом практически до нуля. Впоследствии превалируют условия, в которых ответная реакция не нормально подкреплена. Как следствие, птица, скорее всего, не будет давать ответные реакции снова. Если же она дает их, то ситуация немного улучшается; если она продолжает давать ответные реакции, то условия быстро становятся схожими с теми, в которых было получено подкрепление. В случае такого «автокатализа» высокий уровень быстро достигается, и во втором «залпе» производится более 500 ответов. Уровень потом быстро и отчетливо ровно снижается опять до нуля. Эта кривая ни в каком случае не является беспорядочной. Большинство искривлений гладкие. Но “залп” ответов на сорок пятой минуте говорит о значительной остаточной силе, которая, если угасание проявлялось только в виде истощения, должно было проявиться раньше на кривой. Кривая может также показывать, что птица во многом контролировалась предыдущей ложной корреляцией между подкреплением и быстрыми ответами.

Данное предположение может быть проверено путем построения графика подкрепления, в котором отличительное непредвиденное обстоятельство между уровнем ответных реакций и подкреплением невозможно. В одном таком графике, который может быть назван «вариативное подкрепление» один интервал между успешно подкрепленными ответными реакциями настолько короткий, что подкрепленные ответные реакции происходят во время самого длительного периода продолжительностью около двух минут. Другие интервалы распределяются арифметически между этими значениями, среднее значение остается 1 минута. Интервалы располагаются в случайном порядке для составления программы подкрепления. Что касается предыдущей кривой Е на рис. 6, вероятность подкрепления не изменяется согласно данной программе (на Рис.9 показаны кривые ответных реакций, а различные вероятности подкрепления показаны на Рис. 8). Она начинается характерно степени, преобладая ниже вариативного подкрепления и, в отличие от кривой, следующей за обычным периодическим подкреплением, она не ускоряется к более высокой абсолютной степени. Нет никаких доказательств «автократического» создания оптимального стимулирующего обуславливания. Так же, характерно, что нет никаких существенных разрывов или внезапных изменений в степени в любом направлении. Кривая тянется в течение восьми часов, по сравнению с всего неполными двумя часами на Рис. 7, и рассматривается как единый последовательный процесс. Общее число ответных реакций выше, возможно, из-за большего количества времени, позволяющего выделять тепло. Все это может быть объяснено тем фактом, что мы лишили голубя возможности сформировать пару различий, это было основано, во-первых, на стимуляции едой и, во-вторых, на стимуляции быстрых ответных реакций.

Так как самый длинный интервал между подкреплением был только 2 минуты, определенная новизна должна быть представлена как прошедшее время. Это объяснение искривления на рис.8 может быть проверено в некоторой степени другими программами подкрепления, содержащими гораздо более длительные интервалы. Геометрическая прогрессия была построена начиная с 10-и секунд в качестве самого короткого интервала и неоднократно умножаясь в отношении 1.54. Это создало набор интервалов со средней продолжительностью около 5 минут, самый длительный интервал длился более 21 минуты. Этот набор был рандомизирован в программе подкрепления, повторяющейся каждый час.

В изменении данной программы от арифметической прогресии, уровни сперва отклонялись во время более длительных периодов, но голуби вскоре смогли поддерживать постоянный уровень ответных реакций. 2 факта в форме, в которой они были записаны, показаны на рис. 9 (отметка возвращалась к нулю после каждой тысячи реакций. Для того чтобы получить единую совокупную кривую, необходимо «обрезать» данные и объединить их вместе, чтобы создать непрерывную линию. Необработанная форма может быть воспроизведена с меньшей ответной реакцией). Каждое подкрепление представлено горизонтальной чертой. Охваченное время составляет около 3-х часов. Данные относятся к 2-м голубям, которые поддерживают различные показатели согласно данной программе подкрепления.

Согласно такому графику, постоянный уровень процесса ответных реакций поддерживается по крайней мере в течение 21 минуты без подкрепления, после чего птицы получают подкрепление. Меньше новизны будет, следовательно, развиваться во время успешного угасания. В кривой 1 рис.10 голубь продемонстрировал несколько вариантов поведения в течение нескольких часов, для каждого из которых применялась геометрическая прогрессия интервалов. Число ответных реакций, возникших при угасании, примерно в 2 раза отличаются, чем на кривой на рис.10 после арифметической прогрессии интервалов со средним значением 1 мин. Дальнейшее воздействие на геометрический график создает более длительные периоды, во время которых уровень значительно не изменяется. Кривая 2 следует за кривой 1 после 2-х и полутора часов дальнейшего неравномерного подкрепления. В день, отраженный на кривой 2, несколько вариативных подкреплений были изначально даны, и отмечены в начале кривой. Когда подкрепление было прервано, достаточно устойчивый уровень ответных реакций распространился на несколько тысяч реакций. После другого экспериментального ряда на 2 и полтора часа с геометрической прогрессией, была зарегистрирована кривая 3.Этот ряд экспериментов был также начат с короткой серии непоследовательного подкрепления, следовавшей за подкрепленным периодом более чем 6000 неподкрепленных ответных реакций с небольшими изменениями в уровне (А). Может показаться, что нет причины, по которой другие серии, составляющие, возможно, больше чем 5-иминутный интервал и содержащий более длительные исключенные интервалы не приводят к такой прямой линии в дальнейшем.

В таких нападках на проблему угасания мы создаем график подкрепления, который так походит на условия, которые будут пре­обладать во время угасания, что на долгий период времени никакого понижения уровня не будет. Другими словами, мы создаем угасание без кри­визны. В конце концов, на­ступает некое истощение, но с ним не обращаются посте­пенно. Последняя часть Кривой 3 (к сожале­нию, очень уменьшенной на рисунке) может предложить угасание в незначительной общей кривизне, но это малая часть всего процесса. Запись составлена в основном из серий из нескольких сотен ответных реакций каждая, большинство из которых на приблизительно том же уровне, что и тот, что поддерживался при периодическом подкреплении. Голубь внезапно останавливается; когда он начинает вновь давать ответные реакции, он быстро достигает уровня ответных реакций, при котором его подкрепляли. Это напоминает ошибочную корреляцию между быстрой ответной реакцией и подкреплением при регулярном подкреплении. Мы, конечно, не полностью уничтожили эту корреляцию. И даже хотя более нет дифференциального подкрепления высокого–низкого уровня, практически все подкрепления происходили при константном уровне ответных реакций.

Дальнейшие исследования графика подкрепления, может, и ответит на вопрос, ответственная ли новизна, появляющаяся в ситуации угасания, за кривизну. Могло показаться необходимым сделать условия, преобладающие во время угасания, идентичными условиям, преобладающим во время обусловливания. Но это не возможно, и, поэтому, в таком случае этот вопрос является академическим. Гипотеза, тем временем, не является теорией в настоящем смысле (с. 210), поскольку она не заявляет ничего по поводу параллельного процесса в любом другом универсуме или дискурсе. [4]

Исследования угасания после различных графиков вариативного подкрепления не следует полностью адресовать данной гипотезе. Объект является экономичным описанием условий, превалирующих во время подкрепления и угасания, и отношений между ними. Используя уровень ответных реакций в качестве исходной точки, мы можем обратиться к условиям, которые наблюдаемы и подвергаются манипуляции, и мы можем выразить отношения между ними в объективных терминах. В той степени, в которой наша исходная точка делает это возможным, она уменьшает необходимость теории. Когда мы наблюдаем голубя, дающего 7000 ответных реакций на постоянном уровне без подкрепления, мы вряд ли объясним кривую угасания, содержащую, возможно, несколько сотен ответных реакций посредством обращения к накапливанию торможения ответной реакции или любому другому продукту утомления. Исследования, проводящиеся без приверженности теории, вероятно, принесут изучение угасания в новые области и новые порядки величин. Ускоряя сбор данных, мы ускоряем исчезновение теорий. Если теории не играли роли в замысле эксперимента, нам не нужно сожалеть, наблюдая их исчезновение.

Дата добавления: 2015-07-12