Организация и использование экспертных методов оценки рисков

Сущность метода экспертных оценок заключается в про­ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

В ситуациях, когда по различным причинам использование статистического метода не представляется возможным, широко применяются эвристические методы оценки уровня риска.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений.

Методы экспертных оценок широко применяются в различных областях деятельности (экспертизы, консилиумы, совещания). В практической деятельности применяются как индивидуальные, так и групповые экспертные оценки. Основными целями использования индивидуальных экспертных оценок являются:

- прогнозирование хода развития событий и явлений в будущем, а также их оценка в настоящем;

- анализ и обобщение результатов представленных другими экспертами;

- составление сценариев действий;

- выдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы);

Достоинство индивидуальной экспертизы является оперативность получения информации и относительно небольшие затраты. К недостаткам можно отнести высокий уровень субъективности, и как следствие отсутствие уверенности в достоверности получения оценок.

Коллективные экспертные оценки устраняют эти недостатки. К процессу группового обсуждения, по сравнению с индивидуальными оценками присущи следующие отличительные особенности:

- коллективные оценки менее субъективны;

- решение принятые на их основе имеют большую степень достоверности.

Выявляются следующие типы групповых экспертных процедур:

- открытое обсуждение постоянных вопросов с последующим открытым или закрытым голосованием;

- свободное высказывание без обсуждений и голосований;

- закрытое обсуждение с последующим закрытым голосованием или заполнение анкет экспертного опроса;

Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется и цель работы, и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы:

- постановка задач и экспериментов;

- цели эксперимента;

- обоснование необходимости эксперимента;

- сроки выполнения работ;

- задачи и состав группы управления;

- обязанности и права группы;

- финансовое и материальное обеспечение работ.

Для подготовки этого документа, а так же для руководства всей работы назначается руководитель экспертизы, на него возлагается формирование группы управления и ответственность за организацию его работы.

После формирования группа управления осуществляет работу подбору экспертной группы примерно в такой последовательности: уяснение решаемой проблемы, определения круга областей деятельности связанных с проблемой определения делового состава экспертов по каждой области деятельности, определение количества экспертов в группе, составление предварительного списка экспертов с учетом их местонахождения, анализ качеств экспертов и уточнение списка экспертов в группе, получение согласия экспертов на участие в работе, составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов, группа управления проводит разработку организаций и методики проведения опроса экспертов, при этом решаются следующие вопросы.

- место и время проведения опроса;

- количество и задачи тура вопросов;

- форма проведения опроса;

- порядок фиксации и сбора результатов опроса;

- состав необходимых документов.

Следующим этапом группы управления является определение данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экспертов и обработки его результатов, группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости, по содержанию, срокам и обеспечению ресурсами. Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производиться анализ результатов экспертного оценивания, составление отчета, обсуждение и одобрение результатов, представление итогов работы на утверждение, ознакомление с результатами организации экспертизы и лиц.

Подбор экспертов

Для реализации процедур экспертного оценивания необходимо сформировать группу экспертов. По общим требованиям при формировании групп экспертов является эффективное решение проблем экспертизы.

Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на него. Достоверность экспертного исследования может быть определена только на основе правильного решения проблемы и анализа его результатов. Использование экспертов обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по после опытным данным.

Если экспертиза проводиться систематически с примерно одним и тем же составом экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве данных по достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группах, от характеристики экспертов. Определение характера зависимости достоверности от перечисленных факторов является еще одной проблемой процедуры подбора экспертов. Сложной проблемой процедуры подбора является формирование системы характеристик эксперта существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфическое свойство специалиста и возможные отношения, между людьми влияющие на экспертизу. Важным требованиям характеристики является измеряемость этих характеристик.

Максимальное число экспертов в группе проверяется на ограничениях по финансовым ресурсам. Определив зависимость между достоверностью и количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию, и формируют возможные альтернативы решения.

Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня обеспечивающего выполнения ограничения по расходам на оплату экспертов. Либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов определяются их место нахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей хорошо знающих кандидатов в эксперты.

После составления списка экспертов им направляется письмо с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных экспертов и самооценки компетентности.

Получив ответы экспертов, группа управления составляет окончательный список группы экспертов. После составления утверждения списка, к экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производиться методом анкетирования, то одновременно с уведомлением о включении экспертной группы всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.

Опрос – это следующий этап совместной работы группы управления и экспертов. Основным содержанием опроса является:

- постановка задачи и предъявление вопросов экспертам;

- информационное обеспечение работы экспертов;

- выработка экспертами суждений оценок, предложений;

- сбор результатов работы экспертов;

Можно назвать три типа задач, которые решаются в процессе опроса:

- качественная или количественная заданных объектов;

- построение новых объектов;

- построение и оценка новых объектов.

При коллективной экспертизе используются следующие основные виды опроса:

- дискуссия;

- анкетирование;

- интервьюирование;

Анкетирование может проводиться с обратной связью или без нее; при анкетировании с обратной связью, опрос экспертов производиться на нескольких этапах, с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию. Главное в организации опроса является обеспечение максимума информации и максимума творческой активности, самостоятельности экспертов.

Необходимо стремиться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты, так и организаторы опроса не лишая в то же время эксперта творческой самостоятельности и активности. Однако возможности эксперта по переработке информации ограничены, в результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается человеком с определенным внутренним сопротивлением. И не сразу влияет на уже сложившиеся субъективные оценки. Из этих психологических особенностей следует необходимость предоставления экспертам возможностей для фиксации поступившей информации путем ведения записей использования технических средств, а также необходимость предварительной обработки информации и представление ее экспертам наиболее в воспринимаемой форме. Необходимо подчеркнуть противоречивость значения обмена экспертами информации, так как получение такой информации таит опасность потери творческой независимости построения модели экспертом.

Каждый из вида опроса имеет свои достоинства и недостатки в построении, обмене информацией между экспертами и организации их независимого творчества, выбор того или иного вида опроса, определяется многими фактами, из которых основными являются цель и задачи экспертизы.

Сложность анализируемой проблемы - полнота и достоверность исходной информации, требуемые объем и достаточность информации, полученной в результате опроса, время, отведенное на опрос и экспертизу в целом, допустимая стоимость опроса и экспертизы в целом, количество экспертов, члены группы управления их характеристики.

После проведения опроса группы экспертов осуществляют обработку результатов исходной информацией, для обработки используются числовые данные, выражающие предпочтение экспертов и содержание обоснований этих предпочтений.

Целью обработки являются получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках.

На основе результатов обработки формируется решение проблемы. Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем решаемых экспертным оцениванием.

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов. Обобщенное мнение группы экспертов принимают как решение проблемы.

Подбор количественного и качественного состава экспертов производят на основе широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов. Повышение достоверности экспертизы связано с увеличением затрат. Располагаемые финансовые ресурсы ограничивают максимальное число экспертов в группе. Группу экспертов подбирают на основе индивидуальных характеристик: компетентности, креативности, отношение к экспертизе, конформизма, конструктивности мышления, коллективизм, самокритичности. В настоящее время перечисленные характеристики в основном оцениваются качественно. Только для некоторых из них имеются попытки ввести количественные оценки.

Для количественной оценки степени компетентности используется коэффициент компетентности, с учетом которого взвешивается мнение эксперта. Наиболее простоя является методика оценки относительных коэффициентов компетентности по результатам высказываний специалистов о составе экспертной группы. По результатам опроса формируют матрицу.

Каждый эксперт может включать или не включать себя в экспертную группу. По данным матрицы вычисляют коэффициенты компетентности как относительные веса экспертов:

Коэффициент компетентности определяют как относительное число экспертов, высказавшихся за включение i- го эксперта в список экспертной группы.

Анализ характеристик эксперта требует очень трудоемкой работы по сбору информации и ее изучению. Как правило, часть характеристик эксперта оценивают положительно, а часть отрицательно. Возникает проблема согласования характеристик и выбора экспертов с учетом противоречивости их качества. Необходимо сформулировать обобщенную характеристику эксперта, с одной стороны, учитывая его важнейшие качества и допускающую непосредственное ее измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта. Однако применение такой обобщенной характеристики требует информации о прошлом опыте участия эксперта в решении проблемы. В ряде случаев такой информации может не быть. Достоверность оценки эксперта количественно оценивают.

Вклад каждого эксперта в достоверность оценок всей группы определяют отношением числа экспертов в группе к средней достоверности оценок группы экспертов.

Как отмечалось выше, основными видами опроса экспертов являются: анкетирование, интервьюирование, метод Дельфы, мозговой штурм, дискуссия. При обработке результатов опроса возникают следующие задачи: определение согласованности мнений экспертов; построение обобщенной оценки объектов; определение зависимости между суждениями экспертов; определение относительных весов объектов; оценка надежности результатов экспертизы.

Оценку согласованности мнений экспертов производят путем вычисления количественной меры, характеризующей степень близости индивидуальных мнений. При ранжировке объектов, в качестве меры согласованности мнений группы экспертов используют дисперсионный коэффициент конкордации (коэффициент согласия). Дисперсионный коэффициент конкордации равен отношению оценки дисперсии к максимальному значению этой оценки.

Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, т.е. по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов. Если эксперты производят измерения объектов в порядковой шкале методом ранжирования так, что величины весов есть ранги, то задачей обработки является построение обобщенной ранжировки по индивидуальным ранжировкам экспертов. Каждый эксперт дает свою ранжировку, которой соответствует матрица парных сравнений, поэтому количество матриц равно числу экспертов. Обобщенная ранжировка определяется как матрица парных сравнений, которая наилучшим образом согласуется с матрицами парных сравнений, полученными из ранжировок экспертов. Понятие наилучшего согласования на практике чаще всего определяют как медиану. Медиана есть такая матрица парных сравнений, сумма расстояний от которой до всех матриц парных сравнений, получаемых экспертами, является минимальной. Построение матрицы парных сравнений, соответствующей медиане, осуществляют по принципу простого большинства голосов экспертов для каждого элемента матрицы. В алгоритме построения обобщенной матрицы парных сравнений можно учесть компетентность экспертов путем введения коэффициента компетентности.

При обработке результатов ранжирования могут возникнуть задачи определения зависимости между ранжировками двух экспертов. Мерой взаимосвязи служит коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок или целей будет матрица коэффициентов ранговой корреляции. Коэффициент ранговой корреляции Спирмена изменяется от -1 до +1. Он равен 1 при одинаковых ранжировках. Значение р = -1 имеет место при противоположных ранжировках. При равенстве коэффициентов корреляции нулю ранжировки считают линейно независимыми. Оценка коэффициента корреляции, вычисляемая по формуле, является случайной величиной.

Метод экспертных оценок для определения степени риска используют в разных вариантах. Например, в ходе опроса, проведенного среди специалистов в области строительства, было выявлено влияние следующих факторов на степень риска: на первом месте – стоимость проекта, на втором – объем работ, на третьем – сроки выполнения работ и т.д. На основе анализа факторов риска была построена модель, которая позволяет анализировать последствия накопления рисковых ситуаций. В этой модели риски разделены на 3 категории, влияющие на объем работ, стоимость и сроки их выполнения. Эти категории рисков были представлены в трех матрицах. Матрица объемов работ содержала вариантный ряд работ по проекту, которые могут меняться в зависимости от применения условий реализации проекта. Матрица длительностей работ содержала вариантный ряд данных о продолжительности работ по проекту в зависимости от изменения условий. На ее основе осуществлен расчет критического пути, который определил возможные задержки в завершении отдельных работ и проекта в целом. Матрица стоимости содержала вероятные иски подрядчика, из-за изменений в объемах работ и задержек их выполнения с учетом условий контракта, информационных процессов и т.д. В результате была составлена матрица текущего финансового состояния, исследующая комбинированное воздействие всех рассмотренных рисков на финансовое положение участников проекта в форме получения дохода, увеличении займов, связанных с увеличением стоимости и задержкой доходов и др. Метод позволил разделить очень сложный комплекс рисков на управляемые составляющие и сделать выводы о вероятности проявления и степени последствий исследуемых рисков.

Метод экспертных оценок очень трудоемок, в т.ч. и балльный – самый примитивный из них. Его недостатком является повышенная субъективность полученных результатов. Тем не менее за рубежом находят широкое применение оценочные показатели экспертного характера, например, ежегодный анализ лучших промышленных корпораций, банков, финансовых компаний, страховых обществ и других фирм США и Великобритании, проводимый журналами «Экономист» и «Фортуна». В качестве экспертов привлекают несколько тысяч видных бизнесменов и наиболее компетентных специалистов в области экономики, финансов и управления, которые по 10-ти балльной шкале оценивают все крупнейшие фирмы обеих стран. Основные критерии: качество управления, качество товаров, использование ресурсов, долгосрочные капиталовложения, умение привлекать талантливых людей и способствовать их закреплению на фирме и профессиональному росту, отношение к инновациям, ответственность перед обществом и природой. Рейтинговую таблицу составляют как по отдельным критериям оценки, так и по обобщенным показателям с дифференциацией по отраслям и данными за предыдущие периоды.

Самый перспективный и самый сложный подход к определению оценочных показателей – рейтинг комплексного характера, который объединяет все основные факторы в одно значение. Основные возникающие здесь проблемы – это сопоставимость и взвешенность всех составляющих показателей исходных величин. В некоторых случаях сопоставимость параметров можно получить путем нормировки, т.е делением на максимальное значение. Взвешенность показателей обеспечивается ранжированием по важности (расположением с учетом значимости) и расчетом весовых коэффициентов (установлением степени влияния). Тем не менее, ни в отечественной, ни в зарубежной практике нет удобного и надежного метода определения оценочного показателя комплексного характера.

Дата добавления: 2015-10-13