Читайте также:
|
В основе экспертного оценивания лежит опрос экспертов, который отличается от других видов опросов в первую очередь уровнем компетентности опрашиваемых в интересующей психолога проблеме и процедурными моментами, связанными с отбором экспертов и анализом получаемой от них информации. Сбор информации может осуществляться в форме интервьюирования, анкетирования и даже телефонного интервью.
Экспертный опрос приобретает в диагностике особую значимость как один из способов проверки валидности используемых методик и диагностирования конкретных социально-психологических явлений, для которых адекватные методики еще не разработаны или недостаточно надежны. Незаменимую услугу экспертные опросы могут оказать в прогнозировании социально-психологических явлений, особенно массовых.
Большое внимание уделяется вопросу отбора экспертов, даже предпринимаются попытки стандартизировать эту процедуру. В частности, изначально алгоритм такого отбора предусматривает осуществление его по следующим объективным критериям: уровню образования, наличию ученой степени, количеству опубликованных работ по диагностируемой проблеме, количеству ссылок на эти работы других исследователей, стажу работы, связанному с диагностируемой проблемой, и т.д. Дополнительно эксперты могут быть протестированы на креативность, интеллект, общую компетентность по рассматриваемому кругу вопросов. Сами методики экспертного опроса могут отличаться от обычных более сложным, профессиональным языком, содержать комбинированные вопросы.
Эксперт ~ (от лат. "опытный", "искушенный") - компетентное лицо, имеющее специальный опыт в конкретной области и участвующее в исследовании в качестве источника непосредственной информации. Его задачей является выражение своего мнения о качестве объекта или явления по определенной шкале в соответствии с предусмотренными для этого правилами.
Основное содержание метода экспертных оценок заключается в рациональной организации работы одного или нескольких специалистов над поставленной проблемой с регистрацией и последующей обработкой полученных данных.
В психологическом исследовании экспертное оценивание может рассматриваться как в качестве самостоятельного метода познания, так и в виде существенного компонента процедур наблюдения, опроса, эксперимента, анализа продуктов деятельности, словом, везде, где имеет место нестандартизированный переход от признаков к выводам.
Более того, те или иные разновидности экспертизы применяются на любом этапе исследования: в определении его целей и задач, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации понятийного аппарата, для обоснования адекватности используемого инструментария, в процессе выработки рекомендаций и т.д.
Разумеется, экспертное оценивание не ограничено пределами психологической науки. Промышленность, образование, медицина, юриспруденция – трудно найти ту область знания или сферу деятельности, где оно не находило бы применений с давних пор и по настоящее время. Принцип суммирования независимых экспертных оценок широко используется в такой общеизвестной сфере, как спорт. Напомним, к примеру, о практике фигурного катания. Минимальное число судей присуждает победу в боксе — пять. И даже если двое из них ошиблись и присудили победу слабейшему боксеру, то победа все равно присуждается сильнейшему - достаточным оказывается мнение трех других.
Особый интерес к исследовательскому потенциалу данного метода появился после успешной реализации "Дельфийского проекта". Суть его состояла в решении сугубо актуальной после Второй мировой войны задачи для правительства США: определении количества ядерных зарядов, достаточных для обеспечения безопасности страны и ее союзников. В то время частная фирма ''Ренд корпорейшн", предложив экспертное оценивание в качестве способа решения проблемы, превзошла по ряду параметров (кратковременность процедур, их сравнительно малая трудоемкость и себестоимость) традиционные методики добывания информации Пентагона и ЦРУ. Вместо сотен секретных агентов и десятков аналитиков, выявляющих потенциальные цели на территории противника, было задействовано семь экспертов (четыре экономиста, специалист по атомным взрывам, специалист по системному анализу и инженер-электронщик). Еще несколько человек снабжали их разного рода информацией.
Успех "Дельфийского проекта" был обусловлен тщательностью подбора экспертов, своевременным и всесторонним их информированием, а также эффективностью организации всех этапов оценочной деятельности.
Одна из основных черт организации "Дельфийского проекта", – участие в работе специальной группы, обеспечивающей обработку и передачу экспертной информации.В последнем случае имеется в виду так называемая мониторная группа, деятельность которой в экспертном оценивании обычно включает в себя формулирование исследовательской задачи, подбор компетентных специалистов, их инструктаж, разработку оценочных параметров, обеспечение работы экспертов (техническое, математико-статистическую обработку данных, логико-семантическое оформление суждений). Это своеобразные "эксперты по организации экспертиз".
Недостатки в осуществлении мониторной деятельности самым пагубным образом сказываются на качестве оценочных процедур. Метод экспертного оценивания относится к категории субъективных. Это означает признание факта, что результаты экспертного оценивания в значительной мере зависят не только от объекта исследования, но и от характеристик тех лиц, которые это исследование выполняют.
Иногда эксперта сравнивают с измерительным "устройством", к сожалению, не всегда способным к точной работе. С одной стороны, это может быть связано с теми или иными его качествами (некомпетентностью, предвзятостью, недобросовестностью, незаинтересованностью в успехе дела, неуверенностью в себе и т.д.), с другой стороны, быть следствием целого ряда просчетов мониторной группы (например, таких, как нечеткость в определении целей работы, осуществление экспертного опроса без специально разработанной программы, невнятность инструкций по оценке, недостаточный учет влияния факторов искажения достоверности результатов экспертизы, поверхностность в обработке суждений экспертов).
Основной задачей мониторной деятельности является максимальное приближение оценок экспертов к истине. Субъективность метода вовсе не означает его неэффективности. Экспертное оценивание становится способом получения недостоверной информации только в тех случаях, когда плохо подобраны специалисты и некачественно организована их работа.
В содержании оценочной деятельности экспертов можно выделить этапы:
1. Подготовка к экспертизе (изучение порядка и правил оценивания, ознакомление со способами регистрации суждений, актуализация знаний в данной конкретной области).
2. Исследование объекта экспертизы.
3. Возникновение имплицитной оценки – той, где субъективное впечатление, слабодифференцированное и неустойчивое, еще не получило выражения средствами внутренней речи, символами или словами.
4. Экспликация оценки – формулирование ее в уме, а затем и в вербальном или символическом виде.
5. Проверка правильности результата оценивания.
6. Аргументирование оценки.
7. Участие в информационном обмене между экспертами. Работа экспертов может происходить в условиях большей или меньшей стандартизации. Так, выражение их суждений в зависимости от особенностей исследования планируется в форме свободного интервью или анкетирования с полузакрытыми (или открытыми) вопросами, или же как стандартизированное интервью.
Рассмотрим причины нарушения достоверности результатов в ходе экспертного оценивания. Для примера используем дидактическое оценивание, осуществляемое педагогами для выявления качества знаний и степени сформированности умений и навыков обучаемых.
Известно, что иногда несколько педагогов, оценивая независимо друг от друга один и тот же устный ответ или письменную работу ученика, выставляют совершенно разные отметки по традиционной шкале успешности обучения. Бывает и так, что учитель, повторно оценивая письменную работу через некоторый промежуток времени, выставляет отметку, отличающуюся (подчас значительно) от собственной отметки, сделанной ранее. Почему это происходит?
Можно выделить следующие причины оценочного субъективизма:
1. Полифункциональность отметки в учебном процессе иногда приводит к тому, что вступают в противоречие функции контроля и воспитания.
2. Неисчисляемость оценочных процедур. Традиционная для современного образования шкала успешности обучения является порядковой. Учитель не измеряет качества ответов или работ, а сравнивает их с неким идеальным образом, эталоном. Он пользуется цифрами, но не делает вычислений, применяя обозначения количества в качестве ярлыков. Естественно, что каждый делает это по-своему.
3. Разный уровень профессиональной подготовленности экспертов, в частности, степень владения учебным материалом, умение пользоваться данным средством контроля.
4. Индивидуально-личностные особенности педагогов, в том числе:
- степень автономности от социальных стереотипов;
- уровень инертности сложившихся к моменту оценивания представлений о возможностях ученика (в силу этого "отличнику" так же трудно бывает получить "3", как "троечнику" - "5", даже если их ответы заслуживают такой отметки);
- различия в умении абстрагироваться от имеющихся межличностных отношений с учащимся;
- характерологические особенности: ответственность, добросовестность, собранность, заинтересованность и др.;
- различия во влиянии на оценку несущественных аспектов ответа или работы ученика, таких как темп речи, дикция, громкость голоса, наличие пауз и количество оговорок, ораторские способности, особенности почерка, число исправлений или орфографических ошибок (если оценивается не грамотность) и т.д.
5. Ситуационные условия оценивания; такие как:
- степень усталости проверяющего;
- различия в оборудовании рабочего места и характеристиках условий труда (освещенность, температура помещения и т.д.);
- фактор чередования различных по качеству ответов или работ;
- воздействие на отметку общего уровня подготовленности класса.
До сих пор речь шла о субъективизме эксперта, работающего индивидуально, без непосредственного (очного) взаимодействия с другими. Следует заметить, что в работе группы специалистов, сообща оценивающих объект и дискутирующих о его характеристиках, влияние многих причин искажения качества экспертизы существенно ослабляется. Но при этом далеко не всегда можно гарантировать повышение достоверности результатов процедуры. Дело в том, что при этом возникают феномены интерсубъективного искажения результатов оценивания.
Существуют типы экспертиз:
2. Оценивание группой экспертов: без взаимодействия между собой, при заочном взаимодействии в один или несколько туров, при очном взаимодействии в один или несколько туров.
Приемы экспертного оценивания:
1. Парные сравнения
Различают парные сравнения по предпочтению и по сходству. В первом случае мы имеем дело с более трудоемким и надежным вариантом методики ранжирования. Отличие в том, что когда испытуемый (эксперт) сравнивает все пары объектов — каждого с каждым, то возникает возможность получения дополнительной информации — о противоречиях в системе предпочтений. Это так называемые «нетранзитивные тройки». Например, испытуемый (эксперт) предпочитает красный цвет синему, синий — зеленому, а зеленый почему-то ставит выше красного. Круг замыкается. Эти данные могут быть весьма ценными в профконсультации, когда выбор идет из небольшого круга реально доступных и обсуждаемых школьником профессий.
При большом числе объектов методика парных сравнений оказывается слишком трудоемкой и продолжительной. Например, при 10 объектах необходимо выполнить 9 • 5=45 сравнений, и это еще выполнимо, а при 20 уже 19 • 10=190, и это уже очень тяжело из-за большой монотонности этого задания.
Часто за противоречиями (за нетранзитивными тройками) лежат разные субъективные критерии сравнения, разные личностные конструкты. Для их выявления применяется, кроме упомянутого выше сравнения по тройкам, парное сравнение по сходству. Для каждой пары объектов испытуемый дает суждение о том, насколько они похожи или близки между собой. Получается матрица N • К, которая затем обрабатывается различными компьютерными методами, и объекты автоматически размещаются в семантическом пространстве. Следом возникает задача интерпретации координат этого пространства. Лучше всего, когда она решается в диалоге с самим испытуемым, это отличный материал для углубления контакта и взаимопонимания с испытуемым.
2. Сортировка
Частный случай парных сравнений по сходству — методика сортировки. Здесь каждой паре объектов испытуемый ставит в соответствие фактически один из двух возможных баллов сходства «похожи» или «непохожи», так как все сходные объекты испытуемый помещает в один класс.
Методика позволяет охватить гораздо больше объектов, так как более экономична. Это могут быть 80—100 названий профессий (в профконсультации), известных людей (артисты, спортсмены, политики, ученые) и т.п.
Показано, что чем больше количество классов, на которые сортирует испытуемый объекты, тем более разветвленной и дифференцированной является внутренняя система понятий испытуемого, а также более аналитичным является его так называемый «когнитивный стиль».
Методику сортировки удобно применять при КОГНИТИВНОЙ ДИАГНОСТИКЕ — для изучения уровня сформированности системы понятий в какой-то научной или профессиональной отрасли знаний. Для этого надо предложить вначале выполнить данную методику эксперту — специалисту в данной области, а затем результаты учащегося сравниваются с эталонными результатами специалиста. В результате быстро можно понять, где именно в голове учащегося осталась неразбериха и путаница.
3. Собственно экспертные оценки (субъективное шкалирование)
Эксперт оценивает указанные в бланке экспертной оценки качества (профессии, кандидатов на ту или иную должность) по пяти- (семи-) балльной шкале: низшая оценка – 1, высшая – 5 (7). Эксперты могут выступать анонимно и не подписывать бланк экспертной оценки. После того, как эксперты выставили оценки, психолог или представитель мониторинговой группы должен в бланках экспертной оценки подсчитать сумму баллов по каждой оцениваемой характеристике, полученные результаты перенести в таблицу обобщенных экспертных оценок.
Затем вычисляются: 1. Сумма баллов, выставленных в целом каждым экспертом. 2. Средний балл каждого эксперта. 3. Сумма баллов, выставленных всей группой экспертов по каждой отдельной характеристике. 4. Средние баллы группы по отдельным характеристикам. 5. Общая сумма баллов всех экспертов. 6. Общий средний балл группы экспертов.
В том случае, если при обработке результатов выяснится, что максимальная и минимальная экспертные оценки резко отличаются от остальных, то целесообразно исключить их из общего рассмотрения. Значительная вариативность в оценках экспертов может свидетельствовать о неоднородности группы, о разном уровне компетентности экспертов.
Методика «Парные сравнения»
Методика позволяет выявить и количественно описать особенности восприятия группой экспертов субъективной трудности (сложности) освоения отдельных дисциплин учебного плана. Испытуемым (экспертам) предлагается список учебных предметов, изучаемых бакалаврами психолого-педагогических специальностей, и матрица для фиксации результатов сравнения предметов между собой. Испытуемый (эксперт), попарно сравнивая учебные дисциплины, обводит кружком ту, освоение которой представляет для него большую трудность.
Материал: Список предметов, изучаемых по учебному плану на 1 и 2 курсе, бланк протокола для фиксации результатов их попарного сравнения.
Инструкция: Предлагаем Вам принять участие в изучении особенностей восприятия Вашей группой субъективной трудности (сложности) освоения отдельных дисциплин учебного плана. Вам необходимо попарно сравнивать учебные дисциплины между собой, обводя каждый раз кружком тот предмет, освоение которого представляет для Вас большую сложность. Напоминаем, что правильность наших выводов будет полностью зависеть от искренности и точности Ваших ответов.
Примерный список предметов:
По окончании сравнения каждый испытуемый (эксперт) подсчитывает сумму баллов, характеризующих трудность освоения учебной дисциплины, по каждому из 11 учебных предметов.
Затем итоги парного сравнения заносятся в таблицу, обобщающую данные всех экспертов (испытуемых) по группе.
Вычисляются:
1. Сумма баллов, выставленных в целом каждым экспертом.
2. Средний балл каждого эксперта.
3. Сумма баллов, выставленных всей группой экспертов по каждой отдельной дисциплине.
4. Средние баллы группы по отдельным дисциплинам
Обобщающая таблица
| Эксперт | Сумма баллов по дисциплинам | всего | Средний балл | ||||||||||
| Физ-ра | Ин.яз. | Рус яз и к-ра речи | Отеч. история | Культурология | Матеем и информ | КСЕ | Осн общей психологии | Общ осн педагогики | Безоп жизнед-сти | К/В гуманит | |||
| И т.д. | |||||||||||||
| Сумма группы | |||||||||||||
| Средний балл группы |
Делается вывод об иерархии учебных предметов, представляющих различную степень трудности в усвоении в целом для учебной группы.
Дата добавления: 2015-07-21; просмотров: 139 | Нарушение авторских прав
| <== предыдущая страница | | | следующая страница ==> |
| Обзорные экскурсии по городам Турции. | | | Пермь – Великий Устюг – Пермь |