Разочарование в эксперименте

В данной работе эксперимент рассматривается как единственный способ разрешения споров о практике обучения, как единственный метод верификации усовершенствований в обучении, как единственный путь создания традиции накопления знаний, при которой каждое нововведение может быть осуществлено без опасения, что старая муд­рость приносится в жертву менее совершенному, но более новому знанию. При всей нашей горячей защите экспериментирования не следует думать, что наша позиция нова. Были периоды как песси­мистического отношения к возможностям эксперимента, так и энтузиазма (см., например: Good, Scates [43], Monroe [79]). Можно отметить, что отход от экспериментирования к описательным работам, нередко сопровождавшийся поворотом от торндайковского бихе­виоризма к гештальтпсихологии или психоанализу, совершался людьми, получившими хорошую экспериментальную подготовку.

Чтобы предупредить новые разочарования, мы должны понять некоторые причины предшествующей реакции и попытаться избежать неверных ожиданий, которые вызвали такую реакцию. Можно отметить несколько моментов. Во-первых, утверждалось, что темп и степень прогресса, которые должен был обеспечить эксперимент, оценивались слишком оптимистически, и это сопровождалось неоправ­данным пренебрежением к неэкспериментальному знанию. Сторон­ники экспериментирования считали, что прогресс в технологии обучения был медленным именно потому, что не применялся научный метод. Они рассматривали традиционную практику как несосто­ятельную лишь потому, что она не была основана на эксперимен­тировании. Когда же выяснилось, что эксперименты часто оказывались скучными, двусмысленными и подчас невоспроизводимыми и подтверждали донаучные знания, чрезмерный оптимизм уступил место разочарованию, пренебрежению ими и отказу от них.

Это разочарование испытали как наблюдатели, так и участники экспериментов. Что касается экспериментаторов, то можно отметить, что у них выработалась некая реакция избегания экспериментирования. Для исследователя, обычно глубоко заинтересованного в своей работе, неподтверждение выношенной гипотезы является весьма болез­ненным. Экспериментатор тоже подчиняется биологическим и психологическим законам научения и связьюает свои огорчения со смежными во времени событиями и стимулами. Таким стимулом станет, скорее всего, сам экспериментальный процесс, а не «истинный» источник фрустрации— неадекватная теория. Это может привести, возможно неосознанно, к избеганию или отказу от эксперименти­рования. Если экология нашей науки такова, что в ней неправильные ответы встречаются чаще, чем правильные (а по-видимому, так оно и есть), то мы можем ожидать, что большинство экспериментов окажется неутешительным. Мы обязаны каким-то образом подготовить начинающих экспериментаторов к этому и вообще смотреть на экспериментирование более пессимистически — не как на панацею, а как на единственно возможный путь постоянного накопления знаний. Мы должны внушить нашим ученикам, что они могут столкнуться с рутиной и разочарованиями, и воспитывать в них упорство, которое отличает в настоящее время исследователей в биологических и физических науках. Наши ученики должны примириться не только со скудостью денежных средств, но и со скудостью результатов экспе­риментов.

Точнее, нам необходимо более значительное время и осознание того, что длительное и многократное экспериментирование более характерно для науки, чем единичные окончательные эксперименты. Если эксперименты, которые мы проводим сегодня, являются успешными, то они нуждаются в повторении и перекрестной валидизации в другое время и в других условиях, прежде чем они смогут стать признанными данными науки и получить обоснованную теоретическую интерпретацию. Далее, хотя мы считаем эксперименти­рование основным средством доказательства, единственным судьей в споре конкурирующих теорий, мы, по-видимому, не должны ожидать однозначных результатов «критических» экспериментов, в которых сталкиваются соперничающие теории. Когда мы обнаружим, например, что компетентные наблюдатели защищают прямо противоположные точки зрения, то можно утверждать, почти что априорно, что оба они наблюдали нечто действительно относящееся к реальной ситуации и оба представляют часть истины. И чем сильнее противоречие, тем больше вероятность того, что так оно и есть. Поэтому в таких случаях мы можем ожидать неоднозначных результатов эксперимента или результатов, в которых истинные данные неуловимо меняются от эксперимента к эксперименту. Более зрелой позицией — а к такой в значительной мере пришла экспериментальная психология (см., например, Underwood [129]) — является стремление избегать критических экспериментов и заменять их исследованиями соотно­шений и взаимодействий разнообразных многоуровневых эксперимен­тальных переменных.

Не следует также недооценивать важность значительно усовер­шенствованных статистических методов, которые постепенно проникли в психологию и педагогику. В период наибольшего увлечения экспериментом в педагогике применялись весьма несовершенные методические средства. Мак-Кол [74] и его современники проводили исследования с одной переменной. Ввиду огромной сложности ситуации обучения человека этот подход оказался слишком ограни­ченным. Теперь мы знаем, насколько важным может быть совместное действие двух или более экспериментальных переменных. Стэнли [108, 110, 112, ИЗ, 114], Стэнли и Уайли [116] и другие указали на важность оценки таких взаимодействий.

Эксперимент может быть многомерным в следующих двух отношениях. План эксперимента может содержать более чем одну «независимую» переменную (пол, год обучения, метод обучения арифметике, тип и размер шрифта в учебнике и т. д.) и/или более чем одну «зависимую» переменную (число ошибок, скорость, количество правильных ответов, данные различных тестов и т. д.). Процедуры, введенные Фишером, многомерны в первом смысле и одномерны во втором. Специалисты по математической статистике, например Рой и Гнанадезикан [95], разрабатывают планы и методы анализа, объеди­няющие оба типа многомерных планов. Возможно, что, обратившись к ним, исследователи смогут уменьшить обычный огромный разрыв между изложением статистических методов в специальной литературе и их практическим применением в исследованиях.

Несомненно, более основательное знакомство исследователей с современной экспериментальной статистикой поможет повысить качество экспериментальных исследований.<…>

***

ИДЕАЛЬНАЯ СХЕМА ПРОВЕДЕНИЯ ФОРМИРУЮЩЕГО ЭКСПЕРИМЕНТА.

План Соломона для четырех групп

Хотя план 4 используется чаще, чем план 5, предложенный Соломоном [104], заслуженно обладает большим признанием и является первой попыткой эксплицитно учитывать факторы внешней валидности. Этот план имеет следующий вид:

R О₁ X О₂

R О₃ О₄

R XО₅

R О6.

Путем параллельного использования элементов плана 4 (О₁ — О ₄), когда предварительное тестирование не проводится ни в экспериментальной, ни в контрольной группах, может быть определен не только главный эффект тестирования, но и его взаимодействие с X. Тем самым расширяются возможности обобщения результатов и, кроме того, эффект X воспроизводится четырьмя различными способами: О₂ > О₁; О₂ > О₄; О₅ > О₆ и О₅ > О₃. Ввиду нестабильности экспериментальных условий, если все эти четыре соотношения выполняются, то правомерность вывода значительно возрастает. Обобщению экспериментальных результатов косвенно способствует и то, что применение плана 5 в какой-либо определенной области позволяет выяснить общую вероятность взаимодействия тестирования и X, благодаря чему облегчается интерпретация данных, полученных в прошлых и будущих экспериментах по плану 4. Точно так же сравнение O₆ с O₁ и О₃ позволяет выявить комбинированный эффект естественного развития и фона.

Статистические модели для плана 5

Единой статистической процедуры, в которой бы одновременно использовались результаты всех шести наблюдений, не существует. Асимметрия этого плана исключает дисперсионный анализ приращений. (Предложения Соломона на этот счет неприемлемы.) Не обращая внимания на предварительные тестирования (отводя им роль лишь дополнительного параметра воздействия X), можно обработать данные итогового тестирования согласно простой схеме 2x2 дисперсионного анализа:

Средние по столбцам позволяют оценить главный эффект X, средние по строкам — главный эффект предварительного тестирования, а средние по ячейкам — взаимодействие этих двух факторов. Если главный эффект предварительного тестирования и эффект взаимодействия настолько малы, что ими можно пренебречь, желательно провести ковариационный анализ О₄ и О₂, используя результаты предварительного тестирования в качестве сопутствующей переменной.

План с применением контрольной группы и тестирования, осуществляемого только после воздействия

Хотя идея предварительного тестирования глубоко проникла в сознание исследователей, работающих в области педагогики и психологии, оно не является неотъемлемой частью истинного эксперимента. По причинам психологического порядка трудно отказаться от того, чтобы удостовериться в «равенстве» экспериментальной и контрольной групп до введения дифференцированного режима эксперимента. Тем не менее наиболее адекватной во всех отношениях гарантией отсутствия изначального смещения между группами является рандомизация. В рамках доверительных пределов, устанавливаемых статистической моделью, рандомизации достаточно и без предварительного тестирования. Фактически почти все агробиологические эксперименты, выдержанные в традициях работ Фишера [37, 38], выполнены без предварительного тестирования. Проводя педагогические исследования, особенно в младших классах, часто приходится испытывать методы изложения ученикам совершенно нового учебного материала, и в этой обстановке предварительное тестирование в обычном смысле слова невозможно. Точно так же при исследовании влияния доводов адвокатов на решение присяжных неуместно определять априорные оценки виновности или невиновности подсудимого. Схема 6 годится для этих случаев, а также для тех, в которых можно было бы применить планы 4 и 5, позволяющие производить подлинную рандомизацию.

Вот как выглядит план 6:

R X О₁

R О2.

Хотя этот план применялся еще в 20-х годах, он не рекомендуется большинством руководств по методам исследования в педагогике. Причина этого отчасти в неумении отличить его от плана 3, а отчасти в недоверии к рандомизации как средству уравнивания. Этот план представляет собой как бы половину плана Соломона, и, как нетрудно видеть, в нем контролируется как главный эффект тестирования, так и его взаимодействие с X, но в отличие от плана 5 они не измеряются. Однако такое измерение несущественно для решения центрального вопроса о наличии эффекта X. Таким образом, хотя план 5 предпочтительнее плана 6 по упомянутым причинам, выигрыш от плана 5 может не стоить большого труда, затрачиваемого на его реализацию. Аналогично план 6 обычно лучше плана 4, если только нет оснований сомневаться в подлинности рандомизации. Эксперимент типа 6 слишком редко применяется в педагогике и психологии.

Если, как это часто бывает при проведении педагогических исследований, доступны данные, полученные до введения X, ими, разумеется, следует воспользоваться для формирования блоков, определения факторных уровней или как сопутствующими переменными. Этот совет основан на двух соображениях. Во-первых, статистические модели, соответствующие плану 4, обладают большей мощностью, чем те, которые применимы для плана 6. Хотя значительные усилия, необходимые для реализации плана 4, в большинстве ситуаций делают подобный выигрыш неоправданным, положение меняется, когда нужные исходные показатели «лежат на поверхности». Во-вторых, доступность таких показателей позволяет проверить наличие взаимодействия X с начальным уровнем и тем самым составить более полное представление о возможности обобщения результатов. Правда, нечто подобное может быть выполнено и в рамках плана 6, если вместо предварительного тестирования воспользоваться другими имеющимися данными. Кроме того, для генеральной совокупности, на которую предполагается распространять выводы педагогического исследования, характерно частое тестирование. Последние два обстоятельства могут изменить ситуацию, делая план 6 предпочтительнее плана 4. Отметим также, что при заметном выбывании испытуемых между R и итоговым тестированием исходные данные в плане 4 обеспечивают больше возможностей для отклонения гипотезы о влиянии на эффект неравномерности выбывания из экспериментальной и контрольной групп.

Как бы то ни было, существует ряд проблем, применительно к которым предварительное тестирование невозможно, неуместно или легко провоцирует нежелательную реакцию испытуемых; для исследования этих проблем более приемлем план 6. Кроме упомянутого ранее изучения способов подачи нового учебного материала, можно привести много примеров, когда: 1) X и итоговое тестирование О могут быть предъявлены учащимся или группам естественным образом в единой композиции и 2) предварительное тестирование нельзя провести должным образом. Такие ситуации часто возникают при исследовании самой процедуры тестирования — например, при сравнении эффективности различных инструкций и бланков

Это относится и к сравнению эффективности обращений о наборе добровольцев и т. д. Когда необходимо сохранить анонимность респондентов, удобнее других оказывается план 6. В таких случаях рандомизация достигается путем перетасовки материалов, подлежащих распределению среди респондентов.

Статистические модели для плана 6

Простейший способ обработки — это применение t-критерия. План 6, пожалуй, единственный, для которого он оптимален. Однако ковариационный анализ и формирование блоков по таким исходным показателям испытуемых (Underwood [129]), как успеваемость, оценки в тестах, профессия родителей и т. д., позволяют повысить мощность статистической процедуры примерно до того же уровня, что и при использовании предварительного тестирования. Идентичность предварительного и итогового тестов несущественна. Часто это различные формы «одного и того же» теста, и, следовательно, они менее идентичны, чем буквальное повторение предварительного теста. Точность возрастает с увеличением степени ковариации, и, хотя она обычно выше для эквивалентных форм «одного и того же» теста, чем для «различных» тестов, это чисто количественное различие, причем такой надежный комплексный показатель, как, скажем, средний балл успеваемости ученика, может оказаться лучше короткого предварительного тестирования. Отметим, однако, что использование среднего балла в качестве итогового показателя обычно нежелательно из-за его вероятной нечувствительности к X в сравнении с показателями, имеющими более тесную связь с содержанием и временем тестирования.

Неважно, как трактовать этот план с предварительным псевдотестированием — как план 6 или как план 4. Он обладает достоинствами плана 6, избавляя экспериментатора от проведения настоящего предварительного тестирования, от повторного применения идентичного или весьма сходного по содержанию необычного материала (как при изучении изменений социальных установок). По этим причинам оценка плана 6 в отношении реакции на эксперимент будет несколько выше, чем для планов 4 и 5. В социальных науках в целом это преимущество еще важнее, чем в педагогических исследованиях. <…>

***

На концептуальной основе трех последних планов, особенно планов 4 и 6, добавляя к ним новые группы с новыми X, можно построить сложные факторные планы, типичные для фишеровской традиции. В обычном однофакторном дисперсионном анализе мы будем иметь несколько «уровней» воздействия (X₁, X ₂, Х₃ и т. д., а также, возможно, Х_о «без X»). Если отсутствие X считать одним из уровней («режимов») эксперимента Х_о, то в планах 4 и 6 будет по одной группе на каждый уровень. По плану 5 мы будем иметь две группы (прошедшую и не прошедшую предварительное тестирование) для каждого режима, так что можно провести двухфакторный дисперсионный анализ. Нам неизвестно о применении более чем двухуровневых планов, аналогичных плану 5.

Обычно, если интерес представляет влияние предварительного тестирования, применяется план 6, так как иначе требуется большое число групп. Очень часто используются две и более независимых экспериментальных переменных, каждая из которых реализуется на нескольких «уровнях».

Разработка соответствующих планов, сопровождаемая попытками экономить, устраняя из них некоторые из возможных перестановок из Ха и Хб, породила пугающие тайны факторного планирования (рандомизированные блоки, расщепленные делянки, греко-латинские квадраты, дробные реплики, смешивание и т. п.). В результате возникла пропасть между передовыми и традиционными методами педагогического исследования. Мы надеемся перебросить мост через эту пропасть, сохраняя непрерывную связь с традиционными методами и уповая на присущий каждому здравый смысл. По-видимому, большинство идей, необходимых для понимания планирования эксперимента, легче всего понять, если рассмотреть их на материале планов с двумя экспериментальными режимами без дополнительных усложнений. Вместе с тем полное изложение проблем традиционного характера позволит достичь понимания необходимости и роли современных подходов. Уже в связи с поисками наиболее эффективного способа обработки результатов всеми признанного старого эксперимента по плану 4 мы познакомились с необходимостью ковариационного анализа, который пока почти не использовался в этих условиях. Точно так же при обсуждении плана 5, когда в связи с необходимостью контроля за некоторыми факторами мы столкнулись с задачей двух режимов, мы отказались от t-критерия в пользу соответствующей модели дисперсионного анализа.

Дата добавления: 2015-08-21