Читайте также: |
|
Тогда имеем
х\ = Ф(*|) = Д*1
Х2 ф(*2) 0X2
Вид этого соотношения объясняет название шкал отношений.
Примерами измерений в шкалах отношений являются измерения массы и длины объектов. Известно, что при установлении массы используется большое разнообразие численных оценок. Так, производя измерение в килограммах, получаем одно численное значение, при измерении в фунтах - другое и т.д. Однако можно заметить, что в какой бы системе единиц ни проводилось измерение массы, отношение масс любых объектов одинаково и при переходе от одной числовой системы к другой, эквивалентной, не меняется. Этим же свойством обладает и измерение расстояний и длин предметов.
Как видно из рассмотренных примеров, шкалы отношений отражают отношения свойств объектов, т.е. во сколько раз свойство одного объекта превосходит это же свойство другого объекта.
Шкалы отношений образуют подмножество шкал интервалов фиксированием нулевого значения параметра Ь\ Ъ - 0. Такая фиксация означает задание нулевой точки начала отсчета шкальных значений для всех шкал отношений. Переход от одной шкалы
50* 787
отношений к другой эквивалентной ей шкале осуществляется с помощью преобразований подобия (растяжения), т.е. изменением масштаба измерений. Шкалы отношений, являясь частным случаем шкал интервалов, при выборе нулевой точки отсчета сохраняют не только отношения свойств объектов, но и отношения расстояний между парами объектов.
Шкалы разностей. Шкалы разностей определяются как шкалы, единственные с точностью до преобразований сдвига
Ф (дг) - х + Ь,
гдехе У- шкальные значения из области определения Y; Ъ - действительные числа.
Это означает, что при переходе от одной числовой системы к другой меняется лишь начало отсчета.
Шкалы разностей применяются в тех случаях, когда необходимо измерить, насколько один объект превосходит по определенному свойству другой объект. В шкалах разностей неизменными остаются разности численных оценок свойств. Действительно, если х1 и х2 оценки объектов а, и а2 в одной шкале, а <р (я,) = = X] + b и ф (х2)= х2 + Ь в другой, то имеем:
Ф (*i) - ф (х2) = (хх +b)-(x2 + b)=xl-x2.
Примерами измерений в шкалах разностей могут служить измерения прироста продукции предприятий (в абсолютных единицах) в текущем году по сравнению с прошлым, увеличение численности учреждений, количество приобретенной техники за год и т.д.
Другим примером измерения в шкале разностей является летосчисление (в годах). Переход от одного летосчисления к другому осуществляется изменением начала отсчета.
Как и шкалы отношений, шкалы разностей являются частным случаем шкал интервалов, получаемых фиксированием параметра а: (й=1), т.е. выбором единицы масштаба измерений. Точка отсчета в шкалах разностей может быть произвольной. Шкалы разностей, как и шкалы интервалов, сохраняют отношения интервалов между оценками пар объектов, но в отличие от шкалы отношений не сохраняют отношения оценок свойств объектов.
Абсолютные шкалы. Абсолютными называют шкалы, в которых единственными допустимыми преобразованиями Ф являются тождественные преобразования:
Я> (*) = {<?},
где е(х) = х.
Это означает, что существует только одно отображение эмпирических объектов в числовую систему. Отсюда и название шкалы, так как для нее единственность измерения понимается в буквальном, абсолютном смысле.
Абсолютные шкалы применяются, например, для измерения количества объектов, предметов, событий, решений и т.п. В качестве шкальных значений при измерении количества объектов используются натуральные числа, когда объекты представлены целыми единицами, и действительные числа, если, кроме целых единиц, присутствуют и части объектов.
Абсолютные шкалы являются частным случаем всех ранее рассмотренных типов шкал, поэтому сохраняют любые соотношения между числами - оценками измеряемых свойств объектов: различие, порядок, отношение интервалов, отношение и разность значений и т. д.
Кроме указанных существуют промежуточные типы шкал, такие, например, как степенная шкала <р{х) =axb\ a>0,b> 0, й^1, Ьф1 и ее разновидность - логарифмическая шкала <р(х) =xb;b> О, Ьф\.
Не останавливаясь подробно на промежуточных вариантах, изобразим для наглядности соотношения между основными типами шкал в виде иерархической структуры основных шкал, где стрелки указывают включение совокупностей допустимых преобразований более «сильных» в менее «сильные» типы шкал. При этом шкала тем «сильнее», чем меньше свободы в выборе ц>(х).
Некоторые шкалы являются изоморфными, т.е. равносильными. Например, равносильны щкала интервалов и степенная шкала. Логарифмическая шкала равносильна шкале разностей и шкале отношений.
Обработка характеристик, измеренных в разных шкалах. При проведении измерений необходимо отделять существенно несравнимые альтернативы от несравнимых альтернатив, допускающих косвенную сравнительную оценку.
Так, например, если эксперт считает несравнимыми альтернативы у { и у2, но в то же время считает альтернативу уу более предпочтительной, а альтернативу у2 менее предпочтительной, чем уг, то можно с определенными оговорками считать ух более
предпочтительной, чем у2. Отношение Ry при наличии несравнимых альтернатив является отношением частичного порядка. В этом случае вводится понятие квазишкалы.
Особенностью измерения и оценивания качества сложных систем является то, что для одной системы по разным частным показателям качества могут применяться любые из типов шкал -от самых слабых до самых сильных. При этом для получения надежного значения показателя может проводиться несколько измерений. Кроме того, обобщенный показатель системы может представлять собой некую осредненную величину однородных частных показателей.
При измерении и оценке физических величин обычно трудности не возникают, так как перечислимые величины измеряются в абсолютной шкале. Измерение, например, ряда антропометрических характеристик осуществляется в шкале отношений. Более сложной является оценка в качественных шкалах. Однако отдельные показатели в процессе системного анализа уточняются, и, как следствие, появляется возможность от измерения и оценки в качественных шкалах перейти к оценке в количественных шкалах.
В любом случае при работе с величинами, измеренными в разных шкалах, необходимо соблюдать определенные правила, которые не всегда очевидны. Иначе неизбежны грубые просчеты и промахи при оценке систем.
Проиллюстрируем широко распространенную ошибку при использовании балльной оценки. Пусть для экспертизы представлены две системы А и Б, оцениваемые по свойствам yv у2, yv у4. Качество каждой системы оценивается как среднее арифметическое по пятибалльной системе, но оценка в баллах является вследствие округления не совсем точной. Так, например, свойства, имеющие фактический уровень 2,6 и 3,4 балла, получат одинаковую оценку 3 балла. Результаты экспертизы приведены в табл. 1.
По фактическому качеству лучшей является система А, а по результатам экспертизы лучшей^ признают систему Б. Таким образом, способы измерения и обработки их результатов оказывают существенное влияние на результаты.
Избежать ошибок можно, используя результаты, полученные в теории шкалирования, они определяют правила и перечень допустимых операций осреднения характеристик. Остановимся подробнее на правилах осреднения.
Проводить осреднение допускается только для однородных характеристик, измеренных в одной шкале.
Это означает, например, что не имеет физического смысла вычисление среднего значения скорости для мобильного абонентского пункта, если слагаемыми являются скорость передачи данных и скорость перемещения этого объекта. Иными словами, осредняются только такие значения ур i = 1,..., п, которые представляют собой или оценки различных измерений одной и той же характеристики, или оценки нескольких различных однородных характеристик.
Каждое значение показателя у{ может иметь для исследователя различную ценность, которую учитывают с помощью коэффициентов значимости с-, причем
П
Ы
Для получения осредненного значения показателя наиболее часто применяют основные формулы осреднения, приведенные в табл. 2.
Простая и взвешенные средние величины различаются не только по величине (не всегда), по способу вычисления, но и по своей роли в решении задач системного анализа. При этом средневзвешенные величины используются для сравнения систем с учетом «вклада» различных факторов в осредненную оценку.
Рассмотрим, например, среднее количество информации, получаемой из сети Интернет организацией, пользующейся услугами различных прикладных служб. Если эта средняя величина входит в систему показателей себестоимости, протоколов работы, типов используемых линий, то следует применять взвешенное среднее, так как произведение невзвешенного среднего на общую
пропускную способность линий не даст количества полученной информации, поскольку служба электронной почты используется, например, значительно реже, чем WWW, и, следовательно, вносит меньший «вклад» в общее количество получаемой информации. Если же необходимо изучить связь количества получаемой информации с днем недели, то следует применять простое среднее количество информации за сутки, полностью абстрагируясь от различий между типами служб.
Среднее арифметическое используется в случаях, когда важно сравнить абсолютные значения какой-либо характеристики нескольких систем. Например, скорость вывода на печать текстов (лист/мин.) для различных печатающих устройств.
Если при замене индивидуальных значений показателя на среднюю величину требуется сохранить неизменной сумму квадратов исходных величин (измерение вариации характеристики в совокупности), то в качестве средней следует использовать среднее квадратическое. Например, при определении местоположения источника радиоизлучения в радиоразведке вычисляется среднее квадратическое отклонение нескольких измерений.
Среднее геометрическое, в свою очередь, используется для определения относительной разности отдельных значений при необходимости сохранения произведения индивидуальных величин тогда, когда среднее значение качественно одинаково удалено от максимального и минимального значений, т.е. когда важны не абсолютные значения, а относительный разброс характеристик. Например, если максимальная производительность процессора на операциях с данными целочисленного типа составляет для сжатия текстового файла миллион условных единиц, а для сжатия изображений графических объектов - сто, то какую величину считать средней? Среднее арифметическое (500 000) качественно однородно с максимальным и резко отлично от минимального. Среднее геометрическое с точки зрения логики дает верный ответ - 10 000. Не миллион и не сотня, а нечто среднее. В статистике среднее геометрическое находит применение при определении средних темпов роста.
Среднее гармоническое используется, если необходимо, чтобы неизменной оставалась сумма величин, обратных индивидуальным значениям характеристик. Пусть, например, в режиме обмена данными средняя скорость передачи данных по прямому каналу составляет 64 Кб/с, а средняя скорость по обратному каналу - 2,4 Кб/с. Какова средняя скорость обмена данными? При замене индивидуальных значений скорости у{ = 64 чу2 - 2,4 на среднюю величину необходимо, чтобы неизменной величиной осталось время передачи в обе стороны, иначе средняя скорость может оказаться любой. Таким образом,
(\ 1 Y1
у =2 —+— =4,8 Кб/с. Р 1«4 2,4 J
Приведенные примеры показывают, что в каждом конкретном случае требуется четкое определение допустимых условий применения средних величин.
Соотношение между разными типами средних величин определяется правилом мажорантности средних СГр <, СГм < СА 5 СК.
Использование необоснованных способов определения средних величин может привести к искусственному завышению или занижению осредненного значения показателя качества системы.
Сводные данные по характеристикам разных шкал и перечень допустимых операций осреднения характеристик приведены в табл. 3.
Как следует из этой таблицы, для величин, измеренных в номинальной шкале, никакие осреднения не допускаются.
Среднее арифметическое применимо для величин, измеренных в шкалах интервалов, разностей, отношений и абсолютной, но недопустимо для шкалы порядка.
Более устойчивой оценкой среднего является медиана (50%-ный квантиль), которая рекомендуется как основной показатель для шкал порядка, интервалов, разностей, отношений и абсолютной. Математическое ожидание допустимо для шкал интервалов, разностей, отношений и абсолютных, но не столь устойчиво, как медиана. Применение его для величин, измеренных в шкале порядка, является некорректным.
Среднее геометрическое является единственно допустимым средним для степенных и логарифмических шкал, а также одним из допустимых для шкалы отношений. Для нее допустимы также средневзвешенное арифметическое, среднее гармоническое и среднее квадратическое.
Вопрос о применении средних в настоящее время исследован достаточно полно. Это нельзя сказать о средневзвешенных. Однако для наиболее часто применяемого средневзвешенного арифметического доказан следующий факт. Средневзвешенное арифметическое, часто применяемое как обобщенный линейный критерий (аддитивная свертка при сведении векторной задачи к скалярной, при осреднении показателей и др.), допустимо применять тогда и только тогда, когда значения частных показателей можно представить мультипликативным метризованным отношением линейного порядка или, другими словами, когда они измерены в шкале отношений. Доказано, что задача линейного программирования корректна, если коэффициенты ее целевой функции и ограничений измерены в шкале отношений.
Перспективы развития теории шкалирования и ее применения для нужд математического обеспечения информационных систем связаны с дальнейшим развитием понятия измерения. Наиболее перспективным представляется расширение понимания шкалы путем привлечения понятий нечеткой и лингвистических переменных, используемых в теории нечетких множеств. Обобщение понятия характеристической функции путем перехода к
понятию функции принадлежности ц./(е [0,1], используемой в этой теории, создает основу для введения более тонкой структуры измерения качественных характеристик и учета неопределенностей, свойственных сложным системам на основе понятия нечеткой
шкалы.
ш 14 алы.
Например, пусть рассматриваемое нечеткое множество - возраст людей. Нечеткими переменными (шкальными значениями), означающими возраст, являются лингвистические переменные «молодой», «средний», «старый» с приписанными им функциями принадлежности, которые можно определить так, как показано на рис. 2.
При этом 20-летний человек относится к нечеткому подмножеству возраста «молодой» с функцией принадлежности \хиоп = = 0,8, и он же с функцией принадлежности \i =0,1 относится к нечеткому подмножеству возраста «средний».
• 1.Анфилатов B.C. Системный анализ в управлении / В.С, Анфилатов, А.А. Емельянов, А.А. Кукушкин / под ред. А.А. Емельянова. - М.: Финансы и статистика, 2002. 2. Ланнэ А.А. Многокритериальная оптимизация / А.А. Ланнэ, Д.А. Улахович. - М.: Военная академия связи, 1984. 3. Петухов Г.Б. Основы теории эффективности целенаправленных процессов. Ч. I. Методология, методы, модели / Г.Б. Петухов. - М., 1989. А.А, Емельянов
------------------------------------------ <►
ЭВРИСТИЧЕСКИЕ МЕТОДЫ - методы решения задач, основанные на эвристике, или эвристическом рассуждении, т.е. на использовании правил и приемов, обобщающих прошлый опыт, и интуиции решающего.
Эвристика в широком смысле - раздел психологии, изучающий природу мыслительной деятельности человека, мыслительных операций при решении им различных задач.
Эвристические рассуждения строятся преимущественно на использовании аналогий и неполной индукции.
Систематизацию эвристических принципов пытались проводить многие, начиная с Евклида.
Важную роль в развитии эвристических методов в середине XX в. сыграла работа Д. Пойа [9], который ввел понятие «правдоподобное рассуждение». Эвристическое рассуждение стали считать предварительным правдоподобным рассуждением, направленным на решение задачи [1].
Использование эвристических методов для принятия решений началось в связи с развитием кибернетики (см.), в которой были поставлены задачи изучения способностей мозга к творческому мышлению и воспроизведения этих способностей на ЭВМ. Изучение проблем эвристики связано с более общей проблемой создания искусственного интеллекта (см.).
На эвристических методах базировались методы технического творчества [2, 4-6] и возникшая в последующем теория решения изобретательских задач (ТРИЗ) [3].
В теории систем был период, когда все неформальные методы называли эвристическими, отождествляя этот термин с термином экспертные методы в широком смысле.
Эвристические правила пытались формулировать как методические рекомендации без доказательств, как обобщение практического опыта [6].
Например, принцип разумной универсализации, рекомендующий не увлекаться созданием сверхуниверсальных систем; принцип иерархического управления, рекомендующий, чтобы число подразделений, подчиненных любой иерархической единице, не превышало 7 ± 2 (основанный на гипотезе Миллера); принцип подготовки развития, предусматривающий в структуре системы определенную избыточность и т.п. [6, 12].
К эвристическим принципам относили и методики (последовательности этапов) проектирования системы.
Однако в последующем для методов, которые используются как средства работы с экспертами (типа мозговой атаки, сценариев и т.п.), в качестве обобщающего названия был предложен термин методы, направленные на активизацию интуиции и опыта специалистов (см.) [13]. А к эвристическим методам стали относить лишь те, которые связаны непосредственно со способностями человека, с неожиданно предлагаемыми решениями, т.е. непосредственно с термином эврика, озарение.
На идеях эвристики развивается эвристическое программирование [10], методы которого используются при решении задач распознавания образов (см.), при разработке программ для игры в шахматы и других аналогичных областях, где не удается формализовать перебор вариантов решения задачи в обозримые сроки. Разрабатываются методы психоэвристического стимулирования.
• 1. Александров Е.А. Основы теории эвристических решений / Е.А. Александров. - М: Сов. радио, 1970. 2. Альтшуллер Г.С. Алгоритм изобретения / Г.С. Альтшуллер. - М.: Московский рабочий, 1972. 3. Альтшуллер Г.С. Творчество как точная наука: теория решения изобретательских задач / Г.С. Альтшуллер. -М.: Сов. радио, 1979. 4. Буш Г.Я. Методологические основы научного управления изобретательством / Г.Я. Буш.-Рига: Лиесма, 1974. 5. Буш Г.Я. Стратегия эврилогии/ Г.Я. Буш. - Рига: Знание, 1986. 6. Д ж о н с Дж. Инженерное и художественное конструирование / Дж. Джонс. - М.: Мир, 1976. 7. Глушков В.М. Введение в АСУ/ В.М. Глушков. - Киев: Наукова думка, 1974. 8. Ивахненко А.Г. Системы эвристической самоорганизации в технической кибернетике / А.Г. Ивахненко. - Киев: Техшка, 1971. 9. П о й а Д. Математика и правдоподобные рассуждения / Д. Пойа: пер. с англ. - М.: Изд-во иностр. лит., 1957. 10. Поспелов Д.А. Эвристическое программирование и эвристика как наука/ДА. Поспелов//Вопросы философии.-1967.- №7.11. Поспелр^в Д.А. Моделирование рассуждений: опыт анализа мыслительных актов /ДА. Поспелов.-М.: Радио и связь, 1986. 12. Управление, информация,интеллект / Под ред. А.И. Берга, Б.В. Бирюкова, Е.С. Геллера, Г-Н. Поварова. -М.: Мысль, 1976.13. Системный анализ в экономике и организации производства / Под ред. С. А. Валуева и В.Н.Волковой.-Л.: Политехника, 1991.
В. Н. Волкова, С. В. Широкова
ЭКСПЕРТНЫЕ ОЦЕНКИ - группа методов, наиболее часто используемая в практике оценивания сложных систем на качественном уровне. Термин «эксперт» происходит от латинского слова expert - «опытный».
Изучению особенностей и возможностей применения экспертных оценок посвящено много работ. В них рассматриваются:
• проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;
• формы экспертного опроса (разного рода анкетирование, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т.п.);
• подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.);
• методы обработки экспертных оценок;
• способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции Кен-далла, Спирмена, коэффициента конкордации и т.п.), методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса.
При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относятся следующие: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.
При получении и обработке экспертных оценок применяют различные методы. С обзором форм и методов получения и обработки экспертных оценок можно познакомиться, например, в [4,8,9, 10 и др.].
В частности, Б.Г. Литвак [4] на основе обобщения и исследования видов шкал измерений и отношений рассматривает особенности мер близости разного рода (на неметризованных и векторных отношениях, структурные, евклидовы); характеризует принципы и методы, основанные на выборе различных способов упорядоче-
ния и отношений предпочтения (в том числе методы ранжирования и гиперупорядочения, методы парных сравнений Черчмена-Акоффа, Терстоуна, метод «смешанной альтернативы» Неймана-Моргенштерна, принцип отбрасывания альтернатив Эрроу, алгоритмы отыскания медианы Кемени, метризованные ранжирования, алгоритмы выбора по принципу Парето, методы определения предпочтений на множествах многомерных альтернатив и т.п.). К наиболее употребительным процедурам экспертных измерений относятся:
• ранжирование;
• парное сравнивание;
• множественные сравнения;
• непосредственная оценка;
• последовательное сравнение;
• метод Терстоуна;
• метод Неймана-Моргенштерна.
Целесообразность применения того или иного метода определяется характером анализируемой информации [5, 6]. Если оправданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирования, парного и множественного сравнения.
Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать тот или иной метод численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и Неймана-Моргенштерна.
При описании каждого из перечисленных методов будет предполагаться, что имеется конечное число измеряемых или оцениваемых альтернатив (объектов) А = {а{>..., ап) и сформулированы один или несколько признаков сравнения, по которым осуществляется сравнение свойств объектов. Следовательно, методы измерения будут различаться лишь процедурой сравнения объектов. Она включает построение отношений ме*еду объектами эмпирической системы, выбор преобразования (р и определение типа шкал измерений. Рассмотрим указанные вопросы для каждого метода измерения.
Ранжирование. Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателя-
ми сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.
Рассмотрим эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность а{ > а2 >... > aN, где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов, и т.д.
Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства «>». Это означает, что упорядочению объектов соответствует упорядочение чисел хх >... > xN, где х,= <р (а(). Возможна и обратная последовательность х{ <... < xN, в которой наиболее предпочтительному объекту приписывается наименьшее число, и по мере убывания предпочтения объектам приписываются большие числа.
Соответствие перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов еедъ измерение в порядковой шкале.
В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел:
*i = tp(«i) = 1. *2 = (р(а2) = 2,... ,xN=<p(aN) = N,
т.е. используется числовая последовательность. Числа xi,x2,.—, xN в этом случае называются рангами и обычно обозначаются буквами г,, r2,...,rN.
Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить
51-1159
порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например, полезности), отношения типа «более предпочтительно» (>-), «менее предпочтительно» (-<), «равноценно» («) или «безразлично» (~). Упорядочение объектов при этом может иметь следующий вид:
а\ > а% >■ дз= «4 = asу а6 >- - >- ап-\ = а„-
Данное упорядочение образует нестрогий линейный порядок. Для такого отношения доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для рассматриваемого порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале.
Дата добавления: 2015-11-04; просмотров: 44 | Нарушение авторских прав
<== предыдущая страница | | | следующая страница ==> |
И одновременно 2 страница | | | И одновременно 4 страница |