Контрольной группой

В педагогических исследованиях наибольшее рас­пространение получил эксперимент, в котором экспери­ментальная и контрольная группы подвергаются тести­рованию до и после изучаемого воздействия, причем обе группы не эквивалентны друг другу до эксперимента. Скорее, они представляют собой естественно сложив­шиеся коллективы (например, школьные классы), по возможности сходные, но не настолько, чтобы различие между ними не обнаруживалось во время предваритель­ного тестирования. Считается, что выбор, к какой из групп должно быть применено воздействие X, явля­ется случайным и подлежит контролю экспериментатора.

O X O

---------------.

O O

В отношении такого плана экспериментов нужно ясно представлять себе две вещи. Во-первых, его не следует смешивать с планом 4, в котором испытуемые из общей популяции распределяются по обеим группам в случайном порядке. Во-вторых, данный план экспери­мента все же стоит применять во многих случаях, когда использование планов 4, 5 или 6 невозможно. В част­ности, следует признать, что добавление даже неурав­ненной или неэквивалентной контрольной группы зна­чительно снижает неоднозначность интерпретации результатов по сравнению с тем, что имеет место при плане 2. Чем больше сходства в составлении эксперимен­тальной и контрольной групп, чем больше их сходство подтверждается результатами предварительного тести­рования, тем эффективнее становится это средство конт­роля. Если это требование внутренней валидности в какой-то степени выполнено, то можно считать, что в данном типе эксперимента контролируются главные эф­фекты фоновой стимуляции, естественного развития, те­стирования и инструментальной погрешности в том смысле, что различия в результатах тестирования в экс­периментальной группе до и после введения X (если они выше, чем те же различия для контрольной группы) нельзя объяснить за счет главных эффектов этих пере-

менных, оказывающих влияние, как на эксперименталь­ную, так и на контрольную группу. (Следует, однако, серьезно отнестись к замечанию, сделанному в связи с планом 4 по поводу посторонних воздействий в проме­жутках между сериями эксперимента.)

Попытки объяснить наблюдавшийся сдвиг в резуль­татах экспериментальной группы за счет таких побоч­ных факторов, как фоновая стимуляция, естественное развитие или влияние тестирования, должны предпола­гать взаимодействие между этими переменными и конк­ретными различиями в составе двух групп. Хотя, вооб­ще говоря, такие взаимодействия и маловероятны, суще­ствует ряд ситуаций, в которых подобное предположение допустимо. Пожалуй, чаще всего имеют место взаимо­действия с фактором естественного развития. Если экспериментальная группа состоит из пациентов, про­ходящих курс психотерапии, а роль контрольной груп­пы играет какая-либо другая доступная совокупность испытуемых, то смещение показателей эксперименталь­ной группы можно интерпретировать как процесс спон­танной ремиссии, являющейся особенностью именно данной необычной группы и возможной даже без X. Такое взаимодействие факторов состава групп с есте­ственным развитием (или с фоновыми событиями, или с эффектом тестирования) может быть ошибочно при­нято за эффект X и, следовательно, составляет угрозу для внутренней валидности эксперимента. По этому критерию (см. 8-ю колонку табл. 2) план 10 отличает­ся от плана 4.

Поясним это на конкретном примере педагогическо­го исследования. К типу 10 принадлежит проведенное Санфордом и Хемфиллом [97] изучение влияния препо­давания психологии в университете города Аннаполис, Экспериментальная группа состояла из второкурсни­ков, а контрольная — из студентов третьего курса. Бо­лее высокие показатели изменений, зарегистрированные в экспериментальной группе, могли объясняться отчасти за счет тех сложных процессов, которые происходят скорее в течение первых двух лет обучения, чем на третьем и четвертом курсах, что было бы проявлением различия во взаимодействиях между факторами состава групп и естественного развития, а не за счет экспериментальной программы. Примененная Санфордом и

Хемфиллом контрольная группа допускает проверку данной конкурентной интерпретации (в духе рассмат­риваемого ниже плана 15). На основе гипотезы о взаи­модействии факторов состава группы и естественного развития можно было бы предсказать, что превосход­ство третьекурсников (контрольной группы) над второ­курсниками при первоначальном испытании окажется примерно того же порядка, что и разница в результа­тах предварительного и итогового тестирования испы­туемых экспериментальной группы. К счастью, в целом это было не так. Направление и величина различий между курсами при предварительном тестировании в большинстве случаев были иными, чем различия в ре­зультатах предварительного и итогового тестирования в экспериментальной группе. Однако обнаруженный авторами значимый прирост показателей доверия в экспериментальной группе, по данным анкеты соци­альных ситуаций, мог оказаться артефактом взаимодей­ствия факторов состава группы и естественного разви­тия. Для экспериментальной группы этот показатель увеличился с 43,26 до 51,42, тогда как для третье­го курса эти же цифры соответственно равны 55,82 и 56,78.

Гипотеза о взаимодействии между факторами соста­ва группы и естественного развития иногда может ока­заться пригодной, даже если группы имеют идентичные показатели по данным исходного теста. Наиболее ти­пичным является случай, когда естественное развитие (или независимое изменение) в одной группе протекает скорее, чем в другой. План 14, являющийся усовершен­ствованным вариантом плана 10, позволяет контроли­ровать это взаимодействие.

Эффект регрессии составляет другую важную проб­лему с точки зрения внутренней валидности эксперимен­тов типа 10. Вопросительный знак в табл. 2 указывает, что проблемы можно избежать, хотя чаще она создает­ся самим исследователем. Вообще говоря, если каждая из сравниваемых групп составлена по признаку макси­мальных и минимальных результатов или коррелиро­ванных с ними величин, то различная степень измене­ния показателей от предварительного тестирования к тестированию после воздействия может быть проявле­нием скорее эффекта регрессии, чем X. Такая возмож-

ность становится все более характерной для исследо­ваний в области педагогики, где попарное уравнивание в силу устойчивой и дезориентирующей традиции счи­тается адекватной и достаточной процедурой установле­ния доэкспериментальной эквивалентности групп. Эта ошибка сопровождается непониманием того, что между планами 4 и 10 существует серьезное различие и что попарное уравнивание по исходным показателям играет в этих случаях разную роль. В плане 4 попарное урав­нивание может служить полезным добавлением к ран­домизации, но не заменять ее. Вся популяция испытуе­мых, привлекаемых к эксперименту, разбивается на пары, тщательно уравненные по показателям предвари­тельного тестирования или по связанным переменным. Затем члены каждой пары случайным образом вклю­чаются в экспериментальную или контрольную группу. Такое уравнивание с последующей рандомизацией обычно дает план эксперимента, обеспечивающий боль­шую точность результатов, чем одна рандомизация.

С этим идеалом нельзя смешивать предпринимае­мые в рамках плана 10 попытки компенсировать разли­чия между неэквивалентными группами путем попарно­го уравнивания, когда рандомизированное распределе­ние по группам невозможно. Если в плане 10 средние групп существенно отличаются друг от друга, то урав­нивание пар не только не обеспечивает искомого равен­ства, но еще и вызывает появление нежелательного эффекта регрессии. Можно с уверенностью предсказать, что обе группы будут отличаться по результатам итого­вого тестирования независимо от наличия эффекта X и что различие будет прямо пропорционально различию между популяциями, из которых набирались испытуе­мые, и обратно пропорционально тест-ретестной (test-retest) корреляции ¹.

Можно также предсказать направление эффекта регрессии. Рассмотрим психотерапевтический экспери-

_____________________________________________________________________________

¹ Некоторые специальные данные о применении в этой связи ковариационного анализа и об опасности простых ковариаций со­держатся в более поздней работе автора, написанной совместно с Боруком [13]. Особое внимание в ней уделяется надежности скор­ректированной ковариации и множественной регрессии. В этой ра­боте рассматриваются также условия, при которых корреляция предварительных и последующих тестирований более соответствует принятым коэффициентам надежности. — Прим. ред.

мент, в котором в качестве О используется балльнай оценка степени неудовлетворенности собой. Предполо­жим, экспериментальная группа состоит из обративших­ся за помощью к психотерапевту, а уравненная с ней контрольная группа — из «нормальных» людей. Тогда контрольная группа будет представлена крайне низки­ми показателями нормальной группы (образованной на основе этих крайних показателей) и при итоговом тес­тировании будет отмечена регрессия этих данных к средним для нормальной группы. Менее вероятно, что это приведет к выявлению значимого эффекта терапев­тического воздействия, скорее, создаст ложное впечат­ление действенности терапевтической процедуры. При­мер с психотерапевтической группой иллюстрирует так­же возможную несостоятельность предположений об однородности регрессии и о принадлежности выборок к одной и той же генеральной совокупности (за исклю­чением случаев, когда используются лишь экстремаль­ные показатели). Контрольные группы здоровых людей находят применение в психотерапевтических исследова­ниях, но при интерпретации результатов таких исследо­ваний необходимо соблюдать крайнюю осторожность.

Важно различать две разновидности плана 10 и определять их различный статус в качестве аппрокси­маций истинного эксперимента. С одной стороны, в не­которых случаях экспериментатор располагает двумя естественными группами (например, двумя классами) и может свободно решать, какая из них подвергнется X,или, по крайней мере, у него нет оснований подозревать, что отбор испытуемых в группы, подвергаемые X, осу­ществляется особым образом. Даже при различии исходных средних по О данное исследование может при­ближаться к истинному эксперименту. С другой сторо­ны, в некоторых случаях применения плана 10 испытуе­мые экспериментальной группы сами изъявляют желание подвергнуться Х _,но нет контрольной группы, которая состояла бы из лиц, выразивших желание участвовать именно в контрольной группе. В этом случае посылка об однородности регрессии между экспериментальной и контрольной группами становится менее достоверной и повышается вероятность взаимодействий между факто­рами состава группы и естественного развития (а также других взаимодействий с фактором состава группы).

План 10 с участием добровольцев намного слабее, но и он дает информацию, которая во многих случаях поз­волит отклонить гипотезу об эффективности X. Конт­рольная группа, даже если она значительно отличается от экспериментальной по способу подбора и по среднему уровню, все же помогает интерпретации данных.

Угроза внешней валидности со стороны эффекта тестирования та же, что и для плана 4, Знак вопроса против взаимодействия фактора состава группы и X напоминает нам, что действие X может быть специфич­ным для лиц, отобранных по принципу, который приме­нялся при отборе испытуемых в данном эксперименте. Но поскольку план 10 меньше, чем план 4, ограничи­вает нашу свободу в выборе состава групп, эта особен­ность будет сказываться в меньшей степени, чем в ла­бораторных условиях.

Опасность реакции на эксперимент имеет место, но, видимо, в меньшей степени, чем для большинства ис­тинных экспериментов вроде плана 4. Выбирая между планом 10 при сохранении двух классов в неизменном виде и планами 4, 5 или 6, согласно которым для раз­личных экспериментальных воздействий используются случайные выборки учеников из разных классов, нужно учитывать, что вероятность реакции на эксперимент во втором случае будет почти наверняка большей, потому что ученики будут больше осведомлены об эксперименте и будут чувствовать себя подопытными кроликами и т. д.

Исследования Торндайка в области формального обучения и переноса (например, E. L. Thorndike, Woodworth [123]; Brolyer, Thorndike, Woodyard [7]) пред­ставляют собой пример применения плана 10 в случае, когда X не контролируется экспериментатором. Эти исследования, по крайней мере, отчасти избежали ошибки эффекта регрессии, связанной с простым уравниванием групп, но их нужно тщательно проанализировать в све­те современных методов. Так, использование ковариа­ционного анализа дало бы, вероятно, сильные доводы в пользу эффекта переноса слов из латинского языка в английский.

Кроме того, наблюдаемый обычно положительный, хотя и слабовыраженный эффект переноса мог бы быть объяснен за счет отбора на курс латыни тех учеников, у которых рост словарного запаса происходил быстрее,

чем в контрольной группе, даже без обучения латинско­му языку. В наших терминах это следовало бы назвать взаимодействием состава группы и естественного разви­тия. Во многих школьных системах эта конкурентная гипотеза могла бы быть проверена путем увеличения числа процедур предварительных тестирований перед курсом латыни, как это предусмотрено планом 14. Эти эксперименты представляли собой грандиозные усилия по внедрению экспериментального мышления в полевое исследование. Они заслуживают того, чтобы на них сно­ва обратили внимание и продолжили их современными методами.

Сбалансированные планы

Под этой рубрикой объединены все те планы, в ко­торых для достижения контроля экспериментальных па­раметров или повышения точности результатов преду­сматривается предъявление всем испытуемым (или ис­пользование во всех ситуациях) всех экспериментальных воздействий. Такие планы обозначались как «ротацион­ные эксперименты» (McCall [74]), «сбалансированные планы» (например, Underwood [126]), «перекрестные планы» (например, Cochran, Cox [22], Cox [28]), «планы с переключением» (Kempthorne [58]). Для по­строения сбалансированного плана обычно используется латинский квадрат. Такой латинский квадрат в каче­стве плана квазиэксперимента представлен в нижесле­дующей схеме, в которой четыре экспериментальных воздействия в квазислучайном порядке последователь­но применяются к четырем естественным образом со­ставленным группам или даже к четырем испытуемым (например, Maxwell [73]):

В план включены только последующие тестирования, поскольку он находит применение особенно в тех слу­чаях, когда предварительное тестирование неосуществи­мо и невозможно воспользоваться планами, подобными плану 10. План включает 3 переменные [группы (g),порядковый номер воздействия (t) и экспериментальные воздействия (X)]. Каждая переменная «ортогональна» двум другим в том смысле, что каждый уровень одной переменной одинаково часто (один раз для латинского квадрата) сочетается с каждым уровнем любой другой. Легко видеть, что каждое воздействие (X) фигурирует в каждой строке и в каждом столбце по одному, и толь­ко одному, разу. Тот же латинский квадрат можно пе­реписать так, чтобы столбцы были разобраны по X:

Таким образом, суммы результатов измерений по X сравнимы друг с другом, так как в каждой сумме пред­ставлены все группы (g) и все серии экспериментов (t). Различия между этими суммами нельзя считать просто артефактами первоначальных межгрупповых различий, эффекта научения, фона и т. д. Аналогично можно срав­нивать суммы по строкам, отражающим различия меж­ду группами, а также суммы по столбцам данных пер­вого предъявления в различных ситуациях. В терминах дисперсионного анализа можно сказать, что рассматри­ваемый план позволяет получать данные по трем глав­ным эффектам при числе ячеек исходной таблицы, от­вечающем полной двухфакторной схеме. Ясно также, какую цену приходится платить за повышенную эффек­тивность: то, что кажется значимым главным эффектом какой-либо из трех переменных, может на самом деле

быть значимым взаимодействием двух других перемен­ных (Lindquist [68, с. 258—264]). Кажущееся различие между эффектами Х-ов, в частности, может оказаться специфическим эффектом комплексного взаимодействия между групповыми различиями и ситуациями (сериями экспериментов). Вывод относительно эффектов X будет зависеть от правдоподобности этой конкурентной гипо­тезы, и мы обсудим его подробнее.

Отметим, во-первых, что гипотеза о таком взаимо­действии применительно к рассмотренным квазиэкспе­риментам более правдоподобна, чем в описываемых обычно случаях использования латинского квадрата для планирования подлинного эксперимента. В факторе «группы» (g) смешаны два потенциальных источника систематических эффектов. Во-первых, это факторы си­стематического отбора, связанные с естественным фор­мированием групп. Можно ожидать, что эти факторы не только дают главный эффект, но и взаимодействуют с фоном, естественным развитием, эффектами упражнения и т. д. Если бы эксперимент, в котором имеется полный контроль параметров, был организован подобным обра­зом, каждый испытуемый был бы включен в свою груп­пу независимым и случайным образом, и этот источник, как главного эффекта, так и эффекта взаимодей­ствия был бы устранен или, по крайней мере, сведен до уровня ошибки выборки. В квазиэксперименте же уравновешивание производится для осуществления не­которого уравнивания групп как раз потому, что невоз­можно случайное их комплектование. (В отличие от этого в полностью контролируемых экспериментах ла­тинский квадрат применяется по соображениям эконо­мии или для преодоления трудностей, подобных тем, которые возникают при выборочном исследовании зе­мельных участков.)

Второй возможный источник указанных эффектов связан с последовательностью воздействий. Если бы все повторения истинного эксперимента следовали одному и тому же латинскому квадрату, то этот источник глав­ных эффектов и эффектов взаимодействия также давал бы о себе знать. Однако в типичном истинном экспери­менте повторные группы испытуемых распределяются по различным латинским квадратам, благодаря чему устраняется систематический эффект определенной по-

следовательности. Это также исключает возможность того, что за главный эффект X будет принят эффект взаимодействия фактора последовательности с другими факторами.

Порядковый номер воздействия вполне может вы­звать главный эффект, связанный с повторным тести­рованием, естественным развитием, упражнением, на­коплением опыта, переносом навыков. Фоновые явления также могут оказывать влияние на результаты после­довательно применяемых воздействий. Правда, латин­ский квадрат препятствует контаминации главного эф­фекта X со стороны главных эффектов указанных факто­ров. Но там, где главные эффекты свидетельствуют о существенной неоднородности, видимо, больше основа­ний подозревать существование значимых взаимодей­ствий, чем при отсутствии главных эффектов факторов g и t. Так, эффект тренировки, например, может быть монотонным, но, по всей вероятности, нелинейным и может вызвать как главный эффект, так и эффекты взаимодействия. Многочисленные примеры применения латинского квадрата в истинных экспериментах (напри­мер, в агробиологии) обычно не сопряжены с повтор­ными измерениями, и там, как правило, систематиче­ский эффект по столбцам (см. схемы) отсутствует. Однако эксперименты перекрестного типа в этом отно­шении столь же уязвимы, как и квазиэксперименты.

Приведенные соображения ясно показывают чрезвы­чайную важность повторения квазиэксперимента с ис­пользованием различных латинских квадратов. При достаточном числе таких повторений квазиэксперимент превратился бы в истинный эксперимент. Они должны были бы, вероятно, включать также достаточное число групп, чтобы сделать возможным случайное распределе­ние целых групп по воздействиям (это средство конт­роля обычно предпочтительнее других). Но когда это невозможно, одиночный латинский квадрат интуитивно представляется удовлетворительным планом квазиэкс­перимента, ибо он позволяет продемонстрировать все эффекты на всех сравниваемых группах. Отдавая себе отчет в возможных ошибках интерпретации, экспери­мент этого типа стоит применять, когда лучший конт­роль параметров эксперимента невозможен. Подчеркнув

серьезные недостатки данного плана, рассмотрим и от­теним теперь его сравнительные достоинства.

Как и в других квазиэкспериментах, преимущества эксперимента этого типа определяются непротиворечи­востью результатов повторений эксперимента. Чтобы выявить наличие такой воспроизводимости, нужно уст­ранить главные эффекты факторов g и t, записывая в каждой ячейке таблицы отклонения от средних по стро­кам (g) и по столбцам (t): M_gt — М_g. — М._t + М_... Пере­группируем теперь данные так, чтобы получилась таб­лица g × X (вторая схема). Допустим, полученная кар­тина обладает желаемой однородностью, то есть какое-то воздействие дало максимальные результаты по всем четырем группам и т. д. Каковы шансы, что имеет место не подлинный эффект X, а взаимодействие между фак­торами g и t? Мы можем отметить, что наиболее вероят­ные взаимодействия этих факторов уменьшили бы или затушевали явный эффект X. Взаимодействие, имити­рующее главный эффект X,— явление редкое, и его ве­роятность снижается с увеличением размера латинско­го квадрата.

План 11 особенно привлекателен в условиях, когда при очень малом числе естественных групп (например, школьных классов) есть возможность планировать по­рядок воздействий, но нельзя случайным образом разде­лить группы на эквивалентные подгруппы для предъяв­ления X или проведения тестирования. В тех случаях, когда возможно предварительное тестирование, годится также план 10, для которого также характерен риск смешивания эффекта X с эффектами вяаимодействия состава групп и порядка предъявления воздействия. Этот риск, вероятно, окажется меньшим для сбаланси­рованных планов, поскольку на каждой группе можно сравнить действие всех X и, следовательно, для имита­ции экспериментального эффекта потребовалось бы совмещение нескольких взаимодействий.

В то время как в экспериментах других типов осо­бая реакция одной из групп на действие факторов фона или естественного развития может имитировать эффект Х ₁,в сбалансированном плане подобное явле­ние должно было бы наблюдаться в различных ситуа­циях поочередно в каждой группе. Предполагается, ко­нечно, что мы не будем расценивать главный эффект

X как значимый, если изучение таблицы результатов показывает, что статистически значимый главный эф­фект имеет место в первую очередь за счет весьма силь­ного эффекта в единственной группе (см. также Wilk, Kempthorne [134]; Lubin [72] и Stanley [106]).

План с предварительным и итоговым

Дата добавления: 2015-10-23