Методика проведения экспертных опросов с целью подбора экспертов и формирования экспертных комиссий

Проведение экспертных опросов обычно включает несколько этапов.

1. Подбор экспертов и формирование экспертных групп. Исходя из целей опроса, решаются вопросы относительно структуры группы, устанавливается специализация экспертов и определяется их количество. По каждому направле­нию выделяются подгруппы экспертов, устанавливается количество экспертов в каждой подгруппе, которое должно обеспечивать полноту оценок по каждому конкретному вопросу. Затем определяются требования к квалификации экспер­тов, стажу их работы в данной области, общему стажу.

На практике численность экспертов устанавливается исходя из накопленно­го опыта. Для повышения статистической значимости оценок используют ран­говые или балльные оценки. Например, вместо оценок длительности выполне­ния проекта оценивают в баллах возможность его завершения к определенному сроку.

Нижняя оценка численности групп экспертов зависит от числа направлений оцениваемых событий. По каждому направлению в группе не должно быть ме­нее 3-6 экспертов, причем каждое направление должно быть представлено рав­ным числом экспертов.

2. Подготовка анкет для опроса экспертов. Правила опроса экспертов долж­ны обеспечивать объективность мнений экспертов. К числу условий, обеспечи­вающих формирование объективных оценок, следует отнести:

- предоставление экспертам требуемой информации;

- простота и удобство работы с предлагаемыми анкетами, обеспечиваемая прежде всего однозначностью вопросов;

- соответствие вопросов структуре объекта опроса;

- независимость формирования экспертами собственного мнения;

- приемлемые затраты времени, удобное время получения вопросов и выдачи ответов;

- сохранение анонимности ответов для членов экспертной группы;

- коллективные обсуждения оцениваемых событий.

Для выполнения этих условий должны быть разработаны правила организа­ции работы экспертной группы. Экспертные группы для работы на основе спе­циальных методов, таких как «Мозговая атака», «Метод Дельфи», и им подобных, а также организаторы и обслуживающий персонал должны пройти специальную подготовку.

3. Определение групповых оценок на основе оценок отдельных экспертов. Групповая оценка каждого объекта зависит от оценок экспертами этого объекта и степени компетентности экспертов. Степень компетентности эксперта опре­деляют его опыт и квалификация.

При равной компетентности экспертов в качестве групповой оценки ис­пользуют среднеарифметическое значение оценок экспертов. Точность оценки может быть определена по величине ее стандартного отклонения.

Оценки в зависимости от специфики экспертного опроса могут иметь раз­личную шкалу измерения: от 0 до 1, от 0 до 10 и от 0 до 100. Выбор определя­ется удобством получения и обработки оценок.

Для зачета различий в компетентности экспертов их оценкам могут быть приписаны различные «веса», которые учитываются весовыми коэффициента­ми. Значения этих коэффициентов интерпретируются как вероятность задания экспертом достоверной оценки и должны иметь величину от 0 до 1. Значения весовых коэффициентов могут быть использованы, кроме того, для стимулиро­вания работы экспертов путем установления оплаты участия в экспертизе про­порционально весовому коэффициенту эксперта.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

Опыт показывает, что наиболее эффективно компетентность оценивается с помощью регламентированной самооценки экспертов. Показатель самооценки получают на основе группы вопросов. Например, эксперту предлагается проставить себе балл по десятибалльной шкале, ориентируясь на следующие зна­чения баллов:

10 – эксперт специализируется по данному вопросу, имеет по нему успешно завершенные и используемые на практике теоретические разработки и практи­ческий опыт;

8 – в решении проблем по данному вопросу эксперт участвует, но этот во­прос не входит в сферу его узкой специализации;

5 – вопрос входит в сферу, тесно связанную с узкой специализацией экспер­та, но в работе, связанной с данным вопросом, он не участвует;

3 – вопрос не входит в сферу, тесно связанную с узкой специализацией экс­перта.

По полученной в десятибалльной шкале оценке определяется весовой ко­эффициент путем деления ее на десять баллов.

Компетентность экспертов может быть определена экспертами в группе. Для этого каждый эксперт, входящий в группу, задает весовые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого экс­перта определяется как среднеарифметическая. При каждом опросе одной и той же группы следует пользоваться уже полученными результатами для уточнения характеристик компетентности экспертов.

4. Организация работы с экспертами. Работа с экспертами может прово­диться в три этапа.

На первом этапе эксперты участвуют в уточнении объекта экспертизы (про­цесс работы экспертов обычно называют экспертизой), показателей, подлежа­щих оценке, в формулировке вопросов и терминологии в анкетах, кроме того, уточняется состав группы экспертов.

На втором этапе экспертам передаются анкеты с пояснительной запиской, в которой описываются цель экспертизы, структура и порядок заполнения анкет с примерами.

Третий этап работы с экспертами, выполненный после завершения опроса, то есть в процессе обработки и анализа полученных результатов, включает консультации, необходимые для получения недостающей информации, необходи­мой для уточнения полученных данных и их анализа.

5. Анализ экспертных оценок. При проведении экспертных оценок в соот­ветствии с целями исследования и принятыми моделями необходимо опреде­лить согласованность действий экспертов, достоверность экспертных оценок.

Определить согласованность оценок, которые даются разными экспертами, можно с помощью непараметрического двухфакторного дисперсионного анали­за. При проведении анализа в качестве первого фактора рассматриваются экс­перты, в качестве второго фактора – объекты, оцениваемые экспертами. Уровни первого фактора – это разные эксперты, а уровни второго фактора – разные объекты [16].

Согласованность оценок экспертов определяется по отсутствию влияния фактора, связанного с экспертами. В распространенных статистических пакетах для этого используют критерий Фридмана (Friedman) и, если есть возможность ранжировать экспертов по величине оценок, – критерий Пейдже (Page).

К числу групповых экспертных опросов относятся:

- открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

- закрытое обсуждение с последующим закрытым голосованием или за­полнением анкет экспертного опроса;

- свободные высказывания без обсуждения и голосования.

Групповые экспертные оценки могут быть получены при опросе экспертов как одной специальности, так и разных. В последнем случае экспертная оценка часто носит характер деловой игры.

Программа ДПО для независимых экспертов «Общественно-профессиональная аккредитация образовательных программ» - 36 ч. (0,5 п.л.)

Дата добавления: 2015-07-17