Читайте также: |
|
В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности - ранг, равный двум, и т.д. Для эквивалентных объектов удобно, имея в виду технологии последующей обработки экспертных оценок, назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами.
Для приведенного примера упорядочения на основе нестрогого линейного порядка при N = 10 ранги объектов ау а4, а5 будут равными: г3 = г4 = г5 = (3+4+5) /3 = 4.
В этом же примере ранги объектов ад, ауо также одинаковы и равны среднему арифметическому г9 = г|0 = (9+10) / 2 = 9,5.
Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов N объектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке.
При групповом ранжировании каждый S-й эксперт присваивает каждому /-му объекту ранг riS. В результате проведения экспертизы получается матрица рангов || riS\\ размерности Nxk, где N - число объектов; к - число экспертов; 5=1,..., к; i = 1, ..., N. Результаты группового экспертного ранжирования удобно представить в виде табл. 1.
Аналогичный вид имеет таблица, если осуществляется ранжирование объектов одним экспертом по нескольким показателям сравнения. При этом в таблице вместо экспертов в соответствующих графах указываются показатели.
Поскольку ранги объектов определяют только порядок расположения объектов по показателям сравнения, они как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим. Если, например, ранг объекта равен 3, то отсюда не следует делать вывод о том, что этот объект в три раза более предпочтителен, чем объект, имеющий ранг, равный 1.
Достоинство ранжирования как метода экспертного измерения - простота осуществления процедур, не требующая трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов больше 10-15 эксперты затрудняются в построении ранжировки. Объяснения в том, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов число связей между ними растет пропорционально квадрату числа объектов. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями человека. Психология утверждает, что оперативная память человека позволяет оперировать в среднем не более
5Г 803
чем с 7 ± 2 объектами одновременно. Поэтому при ранжировании большего числа объектов эксперты могут допускать существенные ошибки.
Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором упорядочивают все объекты, парное их сравнение - задача более простая. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение, так же как и ранжирование, есть измерение в порядковой шкале.
В результате сравнения пары объектов ajt «.эксперт упорядочивает ее, высказывая либо а.{ >- ар либо а. > ар либо а. * а.. Выбор числового представления ф(д,) можно провести так": если а. у ау, то ф(а,) > ф(яу); если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. ф(яу) < ф(д.). Наконец, если объекты эквивалентны, то естественно считать, что Ф(а,) = ф(йу).
В практике парного сравнения используются следующие числовые представления:
Г1,еслия, ycij илиа /~о/,
Хи " { 0, если а, < ар i, j = 1, N, ^
2, если a-t У а.-,
Xjj = 1, если щ = а.-, (2)
О, если a/ yaj,i,j = \,N
Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, есть пять объектов а,, а2, ауаА, а5 и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения представлены в виде а{Уа2,
а\ >■ аУ й| У й4> а\ < Д5> С12> й3> а2> Я4> а2< й5' й3 м «4> °3 "< й5' аЛ< fl5"
Используя числовое представление (1), составим матрицу измерения результатов парных сравнений (табл. 2). В ней на диагонали всегда будут расположены единицы, поскольку объект эквивалентен себе. Представление (2) характерно для отображения результатов спортивных состязаний. За выигрыш (футбол, хоккей и т.п.) даются два очка, за ничью - одно и за проигрыш -нуль очков. Предпочтительность одного объекта перед другим
трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров, за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы). В качестве примера в табл. 3 приведены результаты измерения пяти объектов с использованием представления (2), соответствующие табл. 2.
Вместо представления (2) часто используют эквивалентное ему представление, которое получается из (2) заменой 2 на +1, 1 на 0 и 0 на-1.
+1,если а, >- а.,
x:i ~ |
0, если щ «ау, ___ (3)
-1,если aiyal;i,j = l,N.
Если пары объектов сравнивают отдельно по различным показателям или сравнение проводит группа экспертов, то по каждому показателю или эксперту составляется своя таблица результатов парных сравнений.
Сравнение во всех возможных парах не дает полного упорядочения объектов, поэтому возникает задача ранжирования объектов по результатам их парного сравнения.
Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений он может указать, что объект я, предпочтительнее объекта я2, а2 предпочтительнее объекта а3 и в то же время аг предпочтительнее объекта а,. В случае разбиения объекта на классы эксперт может к одному классу отнести пары а{ и а2, а2 и ау но в то же время объекты а{ и аг отнести к различным классам. Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы не имеет смысла), неудовлетворительной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритери-альностью рассматриваемых объектов и т.д.
Непоследовательность эксперта приводит к тому, что в результате парных сравнений при определении сравнительной предпочтительности объектов не удается получить ранжирование и даже отношения частичного порядка - не выполнено свойство транзитивности.
Если целью экспертизы при определении сравнительной предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях имеет смысл в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.
Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары,'^ тройки, четверки,..., и-ки (п < N) объектов. Эксперт их упорййочива-ет по важности или разбивает на классы в зависимости^ целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, в результате одновременного соотнесения объекта не с одним, а с большим числом объектов они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения. С другой стороны, при ранжировании объектов их может оказаться слишком много, что затрудняет работу эксперта и негативно отража-
ется на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.
Непосредственная оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперт должен поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа. На рисунке в качестве примера приведено такое представление для пяти объектов на отрезке числовой оси [0,1].
Поскольку за начало отсчета выбрана нулевая точка, в данном примере измерение проводится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов (см; рисунок):
Ф(а,) = 0,28;'ф(а2) = ф(а5) = 0,75; Ф(а3) = 0,2;ф(й4) = 0,5.
Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов. Такие условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписывают баллы.
Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применяются 5-, 10- и 100-балльные шкалы.
Последовательное сравнение (метод Черчмена-Акоффа). Этот метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами. Основные предположения, на которых основан метод, состоят в следующем:
• каждой альтернативе а ■ (i -1, N) ставится в соответствие действительное неотрицательное число <p(a,);
• если альтернатива а(- предпочтительнее альтернативы a., то ф(йу) > (р(я.), если же альтернативы ai и а. равноценны, то (р (а) =
= ф(«/);
• если (р (а) и ф (aj) - оценки альтернатив а( и а., то ф {а) +
+ ф(й.) соответствует совместному осуществлению альтернатив я(.
и а.. Наиболее сильным является последнее предположение об ад
дитивности оценок альтернатив.
Согласно методу Черчмена - Акоффа альтернативы яр a2,..., йдг ранжируются по предпочтительности. Пусть для удобства изложения альтернатива а, наиболее предпочтительна, за ней следует а2 и т.д. Эксперт указывает предварительные численные оценки ф(а/.) для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностями. Затем эксперт сравнивает альтернативу а, и суммы альтернатив й2,..., aN. Если ах предпочтительнее, то эксперт корректирует оценки так, чтобы
N
фСй1)>£ф(Я|)-
В противном случае должно выполняться неравенство
N
ф(я1)<Х<Р(а,)-
Ы2
Если альтернатива а. оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив й2, а3,..., aN_x и т.д. После того как альтернатива а1 оказывается предпочтительней суммы альтернатив а2,..., ак(к £ 2), она исключается из рассмотрения, а вместо оценки
альтернативы ах рассматривается и корректируется оценка альтернативы й2. Процесс продолжается до тех пор, пока не откорректированы оценки всех альтернатив.
При достаточно большом TV применение метода Черчмена -Акоффа становится слишком трудоемким. В этом случае целесообразно разбить альтернативы на группы, а одну из альтернатив, например максимальную, включить во все группы. Это позволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.
Метод Черчмена - Акоффа является одним из самых эффективных. Его можно успешно использовать при измерениях в шкале отношений. В этом случае определяется наиболее предпочтительная альтернатива ап. Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем ап. Для корректировки численных оценок альтернатив можно использовать как стандартную процедуру метода Черчмена - Акоффа, так и парное сравнение предпочтительности альтернатив. Если численные оценки альтернатив не совпадают с представлением эксперта об их предпочтительности, проводится корректировка.
Метод Неймана-Моргенштерна. Этот метод заключается в получении численных оценок альтернатив с помощью так называемых вероятностных смесей. В основе метода лежит предположение, согласно которому эксперт для любой альтернативы а., менее предпочтительной, чем ар но более предпочтительной, чем й,, может указать число а (0 <р < 1), такое, что альтернатива а. эквивалентна смешанной альтернативе (вероятностной смеси)
[pait(\ -р)а{]. Смешанная альтернатива состоит в том, что альтернатива й(- выбирается с вероятностью р, а альтернатива af - с вероятностью \-р. Очевидно, что если р достаточно близко к 1, то альтернатива а} менее предпочтительна, чем смешанная альтернатива [pah(\-p)ai].
В литературе помимо уже упомянутого предположения рассматривается система предположений (аксиом) о свойствах смешанных и несмешанных альтернатив. К числу таких предположений относятся аксиома о связности и транзитивности отношения предпочтительности альтернатив, аксиома о том, что смешанная альтернатива [/>a,,(l-p)a/]предпочтительнее, чем 1>'а,->(!-р>/],если р> р', и др.
Если указанная система предпочтений выполнена, то для каждой из набора основных альтернатив а,, а2, -••, Одг определяются числа jcp х2,..., Хф характеризующие численную оценку смешанных альтернатив.
Численная оценка смешанной альтернативы [р1а],р2а2,-.-,
PNaN] равна x{pt +x2p2 +... +xNpN.
Смешанная альтернатива \pxav p&2>—' Ptfii^ предпочтительнее смешанной альтернатива \p\av p 2а2„.., р'^^], если ххрх + х2р2 +... + xNpN > х{р\ + х2р\ +... +хцр'#.
Таким образом, устанавливается существование функции полезности
xxPl +... + xNpN,
значение которой характеризует степень предпочтительности любой смешанной альтернативы, в частности и не смешанной. Более предпочтительна та смешанная альтернатива, для которой значение функции полезности больше.
Рассмотренные методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность формулируемых выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким - метод последовательного сравнения (Черчмена - Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов.
Метод согласования оценок. Этот метод обычно применяется при обработке индивидуальных экспертных оценок. Он имеет много вариантов, различающихся способами, при помощи которых из индивидуальных оценок получается обобщенная. При этом используются также различные методы согласования оценок:
1) простейшие, основанные на получении средней вероятности
1 " где п - число участвующих экспертов,
или средневзвешенного значения вероятности
p^&kiPiV&ki),
где к. - веса, приписываемые оценке каждого эксперта;
2) специальные методы оценки измерения и повышения коэффициентов согласованности (или коэффициентов непротиворечивости) мнений экспертов;
3) методы, основанные на отборе экспертной группы с высоким коэффициентом согласованности мнений (например, предложенный В.В. Черняевым в [7] метод, основанный на преобразовании первых трех рангов дискретной шкалы в непрерывную и нормировании этой новой шкалы, отражающей мнения отобранных экспертов).
Наиболее часто при обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Значение коэффициента находится в пределах $<*W<\, W = О, это означает полную противоположность, a W = 1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если W — 0,7...0,8.
Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.
Для наглядности представления о степени согласованности мнений двух любых экспертов Л и В служит коэффициент парной ранговой корреляции р, он принимает значения -1< р < +1. Значение р = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а р = (-1) - двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).
В качестве одного из методов повышения согласованности экспертных оценок применяют метод «дельфийского оракула», или «Делъфи»-метод (см.).
Тип используемых процедур экспертизы зависит от задачи
оценивания.
При проведении социологических измерений [8, 9], которые можно рассматривать как разновидность экспертных оценок (особенно в случае организации выборочного социологического исследования), используют обычно качественные шкалы разного рода, которым ставятся в соответствие количественные оценки степени значимости.
Например («очень важно», «важно», «скорее важно, чем нет» и т.д.), оценивается введенный в вопросе качественный признак (в форме «полностью согласен», «согласен», «не согласен», «категорически не согласен», или «да», «скорее да, чем нет», «скорее нет, чем да», «нет» и т.д.).
При этом могут применяться соответствующие методы обработки
результатов.
Например, при использовании шкалы Лайкерта [11], в которой задаваемые группе лиц вопросы должны оцениваться по пятибалльной шкале (5 - «полностью согласен», 4 - «согласен», 3 - «нейтрален», 2 -«не согласен», 1 - «полностью не согласен»), при их обработке рекомендуется применять метод суммарных оценок. Шкалограммныи анализ Гуттмана сводится к построению шкал порядкового уровня измерения, представляющих собой одноместные шкалы, формируемые на основе первоначально используемой иерархизированной шкалы путем исключения вопросов или факторов, посторонних по отношению к измеряемой характеристике. В случае использования метода «семантического» дифференциала, разработанного Ч. Осгудом [12] для измерения смысла понятий и слов и дифференциации эмоциональной стороны значения оцениваемого понятия, в качестве промежуточных методов обработки применяются графические, помогающие определить профиль распределения установок.
Выбор подходов и методов зависят от конкретных задач и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые необходимо понимать при проведении любых экспертных опросов. Кратко охарактеризуем их.
Возможность использования экспертных оценок, обоснование их объективности обычно базируются на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом пред-
полагается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок pi е Р (где Р = - <Рр/,2' ■■■ >Рр ■■• *Рп> есть репрезентативная выборка), получаемых от группы экспертов, и что обобщенное коллективное мнение является достоверным.
Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, в [2] предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса.
К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов - близким к истинному.
Ко второму классу относятся проблемы, в отношении которых знания для уверенности в справедливости названных предположений недостаточны. Экспертов нельзя рассматривать как «хороших измерителей», и необходимо осторожно подходить к обработке результатов экспертного опроса, поскольку в этом случае мнение одного (единичного) эксперта, уделяющего больше внимания, чем другие, исследованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном следует'применять качественную обработку результатов. Использование методов усреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.
Задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления обычна ' можно отнести к первому классу. При этом для повышения объективности результатов целесообразно при обработке оценок выявлять противоречивые и «редкие» мнения и подвергать их более тщательному анализу.
Другая особенность, которую нужно иметь в виду при использовании экспертных оценок, заключается в следующем.
Экспертные оценки несут в себе как узкосубъективные черты,, присущие каждому эксперту, так и коллективно субъективные,. присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки ни применялись, а при
использовании «Дельфи»-процедуры и методов повышения согласованности мнений экспертов даже могут усиливаться.
Один из способов устранения недостатков, связанных с рассматриваемой особенностью, - при проведении экспертных опросов для принятия решений в организационных системах обращать особое внимание на формирование экспертной группы и на методы обработки результатов опроса, особо выделяя и учитывая редкие и противоречивые мнения.
При этом на получаемые усредненные оценки следует смотреть, как на некоторую «общественную точку зрения», зависящую от уровня научно-технических знаний общества относительно предмета исследования или принятия решения, которая может меняться по мере развития системы и наших представлений о ней. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределенности, должен стать своего рода «механизмом» в сложной системе, т.е. необходимо создавать регулярную систему работы с экспертами.
Еще одна особенность заключается в том, что эксперт-лидер при организации экспертного опроса в форме «Дельфи»-проце-дуры с устным обсуждением результатов оценки между турами опроса может постепенно «увести» группу экспертов в желаемом направлении.
На эту особенность обратил внимание A.M. Гендин, назвав ее «эффектом Эдипа».
Следует обратить также внимание на то, что использование классического частотного подхода к оценке вероятности при проведении экспертных опросов бывает затруднено, а иногда и невозможно (из-за невозможности доказать представительность выборки). Поэтому в настоящее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели [3]. Последнее направление развивается на основе информационного подхода к анализу систем (см.).
Рассмотренные особенности экспертных оценок приводят к необходимости разработки методов организации сложных экспертиз (см.), которые помогают получать более объективные и достоверные оценки, расчленяя большую неопределенность на части, вводя критерии оценки и применяя различные формы опроса.
• 1.Анфилатов B.C. Системный анализ в управлении / B.C. Анфилатов,
А.А. Емельянов, А.А. Кукушкин: под ред. А.А. Емельянова. - М.: Финансы
и статистика, 2002. 2. Бешелев С.Д. Математико-статистические методы
экспертных оценок / С.Д. Бешелев, Ф.Г. Гурвич. - М.: Статистика, 1980.
3. Волкова В.Н. Основы теории систем и системного анализа: учеб. для
вузов / В.Н. Волкова, А.А. Денисов. - СПб.: Изд-во СПбГТУ, 1997. -С.130-
145. 4. Л и т в а к Б.Г. Экспертная информация: методы получения и анали
за / Б.Г. Литвак. - М.: Радио и связь, 1982. 5. Макаров И.М. Теория вы
бора и принятия решений: учеб. пособие / И.М. Макаров. - М.: Наука, 1982.
6. Математический энциклопедический словарь / Гл. ред. Ю.В. Про
хоров. - М.: Сов. энциклопедия, 1995. 7. Применение системного ана
лиза на разных уровнях управления в высшей школе:«обзорная информация
/ под ред. В.Н. Волковой. -М.: НИИВШ, 1977. 8. Рабочая книга по про
гнозированию / под ред. И.В. Бестужева-Лады. - М.: Мысль, 1982. 9. Р а б о -
чая книга социолога/под ред. Г.В. Осипова. - М.: Наука, 1977. 10. Тео
рия прогнозирования и принятия решений / под ред. С.А. Саркисяна. - М.:
Высш. школа, 1977. 11. Like r t R. A Technique for the Measurement
of Attitudes // «Arch.Psechol.», 1932, vol. 11, № 140. 12. OsgoodCh. The
Measurement of Meaning / Ch. Osgood. G. Susi, P. Tannenbaum. - Urbana:
1957. В.Н. Волкова, А.А. Емельянов
ЭКСПЕРТНЫЕ СИСТЕМЫ - направление искусственного интеллекта (см.), выделившееся в самостоятельное в конце 60 - начале 70-х гг. XX в.
Термин «экспертная система» был введен Э. Фейгенбаумом в 1977 г. в заказанном ему пленарном докладе на Международной объединенной конференции по искусственному интеллекту (ИИ) [12]. Эту дату и принимают обычно за начало выделения направления экспертных систем (ЭС) в самостоятельное. В то же время первой экспертной системой считают [1-6] систему DENDRAL [13], которая проявилась в 1969 г., а разработка ее была начата в 1965 г.
Строго говоря, Фейгенбаум ввел понятие «Knowledge engineering» - «инженерия знаний», которое первоначально было признано неудобным для русского языка, но в настоящее время считается более предпочтительным при исследовании интеллектуальных систем (см.). Некоторые исследователи продолжают рассматривать эти два направления самостоятельными, но пересекающимися. Другие [1] считают более общим термин «экспертная система», который удобнее для практических приложений.
Дата добавления: 2015-11-04; просмотров: 85 | Нарушение авторских прав
<== предыдущая страница | | | следующая страница ==> |
И одновременно 3 страница | | | И одновременно 5 страница |