Оценка качества программного средства по ГОСТ 28195-99

Стандартом ГОСТ 28195-99 рекомендован метод интегральной оценки качества ПС, основанный на иерархической модели качества. В соответствии с данным методом выбор номенклатуры показателей качества для конкретного ПС осуществляется с учетом его назначения и требований области применения в зависимости от принадлежности ПС к тому или иному подклассу.

Существуют следующие подклассы ПС:

- 5011 – операционные системы и средства их расширения;

- 5012 – ПС управления базами данных;

- 5013 – инструментально-технологические средства программирования;

- 5014 – ПС интерфейса и управления коммуникациями;

- 5015 – ПС организации вычислительного процесса (например, планирования, контроля);

- 5016 – сервисные программы;

- 5017 – ПС обслуживания вычислительной техники;

- 503 – прикладные программы для научных исследований;

- 504 – прикладные программы для проектирования;

- 505 – прикладные программы для управления техническими устройствами и технологическими процессами;

- 506 – прикладные программы для решения экономических задач;

- 509 – прочие ПС.

Оценка качества ПС производится на всех фазах ЖЦ. ГОСТ 28195-99 базируется на следующих процессах и фазах ЖЦ ПС:

- процесс разработки:

• фаза анализа (А);

• фаза проектирования (П);

• фаза реализации (Р);

• фаза тестирования (Т);

• фаза изготовления (И).

- процесс применения:

• фаза внедрения (В);

• фаза эксплуатации (Э);

• фаза обслуживания (сопровождения) (О).

Оценка качества ПС заключается в выборе номенклатуры показателей, их оценке и сопоставлении с базовыми значениями.

Четырёхуровневая иерархическая модель качества, описанная в ГОСТ 28195-99 предлагает следующую терминологию для показателей качества каждого уровня:

- уровень 1 - факторы качества (в терминологии, принятой в международных стандартах, соответствуют характеристикам качества;

- уровень 2 - критерии качества (в международной терминологии – подхарактеристики качества);

- уровень 3 - метрики (соответствует международной терминологии);

- уровень 4 - оценочные элементы или единичные показатели (данный уровень в международных стандартах отсутствует).

Для каждой из выбранных характеристик качества составляется четырехуровневая иерархическая модель, отражающая взаимосвязь факторов, критериев, метрик и оценочных элементов. Вид данной модели зависит от фазы ЖЦ.

В качестве примера на рис. 3.3-3.5 приведены три верхних уровня иерархической модели характеристики Надежность для различных фаз ЖЦ. Номера на данных рисунках соответствуют номерам метрик характеристики Надежность.

Выбор оценочных элементов в метрике зависит от функционального назначения ПС и формируется с учетом данных, ранее полученных при проведении испытаний ПС и эксплуатации аналогичных программ. Для выбора оценочных элементов ГОСТ 28195-99 предлагает перечень таблиц, содержащих наименование элемента, метод оценки и применяемость элемента для различных подклассов ПС.

Фактор Критерий Метрика

Рисунок 3.3 – Модель надежности для фазы анализа

Фактор Критерий Метрика

Рисунок 3.4 – Модель надежности для фазы проектирования

Фактор Критерий Метрика

Рисунок 3.5 – Модель надежности для фаз реализации, тестирования, изготовления и сопровождения

Таблица 3.1 содержит пример перечня оценочных элементов для характеристики Надежность. В данной таблице код оценочного элемента состоит из пяти символов. Первый символ (буква) указывает на принадлежность элемента характеристике: Н – Надежность; С – Сопровождаемость; У – Удобство использования; Э – Эффективность; Г – Универсальность; К – Функциональность.

Два следующих символа – номер метрики, которой принадлежит оценочный элемент (для характеристики Надежность см. рис. 3.3-3.5). 4-й и 5-й символы – порядковый номер данного оценочного элемента в метрике.

Критерии качества определяются одной или несколькими метриками (третий уровень). Если критерий качества определяется одной метрикой, то уровень метрики опускается.

Метрики составляются из оценочных элементов (единичных показателей – четвёртый уровень), определяющих заданное в метрике свойство. Число оценочных элементов, входящих в метрику, неограниченно. Взаимосвязь факторов, критериев и метрик с фазами ЖЦ ПС приведена в таблицах А.2-А.9 Приложения А межгосударственного стандарта [2.38]. В качестве примера в табл. 3.1-3.3 представлена взаимосвязь фактора Надёжность, его критериев и метрик с фазами ЖЦ ПС, а также базовые значения критериев и весовые коэффициенты показателей, по которым проводят оценку качества ПС.

Таблица 3.1 – Взаимосвязь фактора Надёжность и его критериев с фазами ЖЦ, по которым проводят оценку качества ПС по данному показателю

Фактор	Критерий по табл. 1 ГОСТ 28195-99	Фаза ЖЦ	Весовой коэффициент показателя () по подклассу ПС
Номер	Наименование
Надёж-ность	1.1	Устойчивость функционирования	А, П, Р,Т,И,О	0,5	0,5	0,5	0,5	0,5	0,5	0,5	- -	0,5	0,5	0,5
1.2	Работоспособность	Р,Т,И,О	0,5	0,5	0,5	0,5	0,5	0,5	0,5	-	0,5	0,5	0,5

Таблица 3.2 – Базовые значения критериев фактора Надёжность

Фактор	Критерий по табл. 1 ГОСТ 28195-99	Весовой коэффициент показателя () по подклассу ПС
Номер	Наименование
Надёжность	1.1	Устойчивость функционирования			0,9		0,95	0,95	0,9	-	0,9		0,95
1.2	Работоспособность			0,96		0,97	0,97	0,97	0,9	0,96		0,98

Таблица 3.3 – Взаимосвязь критериев и метрик надёжности с фазами ЖЦ

Критерий надёжности по табл. 1 ГОСТ 28195-99	Метрика	Фаза ЖЦ	Весовой коэффициент показателя () по подклассу ПС
Но-мер	Наимено-вание	Обо-зна-чение	Наимено-вание
1.1	Устойчивость функционирования	Н01	Средства восстановления при ошибках на входе	А	0,5	0,5	0,5	0,5	0,5	0,5	0,5	-	0,5	0,5	0,5
П,Р,Т,И,О	0,35	0,35	0,35	0,35	0,35	0,35	0,35	-	0,35	0,35	0,35
Н02	Средства восстановления при сбоях оборудования	А	0,5	0,5	0,5	0,5	0,5	0,5	0,5	-	0,5	0,5	0,5
П,Р,Т,И,О	0,35	0,35	0,35	0,35	0,35	0,35	0,35	-	0,35	0,35	0,35
Н03	Реализация управления средствами восстановления	П,Р,Т,И,О	0,3	0,3	0,3	0,3	0,3	0,3	0,3	-	0,3	0,3	0,3
1.2	Работоспособность	Н04	Функционирование в заданных режимах	Р,Т,И,О	0,5	0,5	0,5	0,5	0,5	0,5	0,5	0,5	0,5	0,5	0,5
Н05	Обеспечение обработки заданного объёма информации	Р,Т,И,О	0,5	0,5	0,5	0,5	0,5	0,5	0,5	0,5	0,5	0,5	0,5

Выбор оценочных элементов в метрике зависит от функционального назначения ПС и проводится с учетом данных, полученных при проведении испытаний различных видов, а также по результатам эксплуатации ПС.

Для выбора оценочных элементов используются таблицы А.10-А.15 Приложения А к межгосударственному стандарту [2.38].

В качестве примера оценочные элементы фактора Надёжность представлены в таблице 3.4.

Таблица 3.4 – Оценочные элементы фактора Надежность

Код элемента	Наименование	Метод оценки
Н0101	Наличие требований к программе по устойчивости функционирования при наличии ошибок во входных данных	Экспертный
Н0102	Возможность обработки ошибочных ситуаций	Экспертный
Н0103	Полнота обработки ошибочных ситуаций	Экспертный
Н0104	Наличие тестов для проверки допустимых значений входных данных	Экспертный
Н0105	Наличие системы контроля полноты входных данных	Экспертный
Н0106	Наличие средств контроля корректности входных данных	Экспертный
Н0107	Наличие средств контроля непротиворечивости входных данных	Экспертный
Н0108	Наличие проверки параметров и адресов по диапазону их значений	Экспертный
Н0109	Наличие обработки граничных результатов	Экспертный
Н0110	Наличие обработки неопределенностей	Экспертный
Н0201	Наличие требований к программе по восстановлению процесса выполнения в случае сбоя операционной системы, процессора, внешних устройств.	Экспертный
Н0202	Наличие требований к программе по восстановлению результатов при отказах процессора, операционной системы	Экспертный
Н0203	Наличие средств восстановления процесса в	Экспертный
Н0204	Наличие возможности разделения по времени выполнения отдельных функций программ	Экспертный
Н0205	Наличие возможности повторного старта с точки останова	Экспертный
Н0301	Наличие централизованного управления процессами, конкурирующими из-за ресурсов	Экспертный
Н0302	Наличие возможности автоматически обходить ошибочные ситуации в процессе вычисления	Экспертный
Н0303	Наличие средств, обеспечивающих завершение процесса решения в случаях помех	Экспертный
Н0304	Наличие средств, обеспечивающих выполнение программы в сокращенном объеме в случае ошибок или помех	Экспертный
Окончание таблицы 3.4
Код элемента	Код элемента	Код элемента
Н0305	Показатель устойчивости к искажающим воздействиям P(Y): P(Y) = 1 – D/k, где D – число экспериментов, в которых искажающие воздействия приводят к отказу; К – число экспериментов, в которых имитируются искажающие воздействия; Y – вид искажающего воздействия.	Регистрационный + расчетный
Н0401	Вероятность безотказной работы P: P=1 – Q/N, где N – число экспериментов; Q – число зарегистрированных отказов	Регистрационный + расчетный
Н0501	Оценка по среднему времени восстановления Q: 1, если Tв ≤ Tв доп Q = Tв доп / Tв, если Tв ≤ Tв доп где Тв доп – допустимое среднее время восстановления; Тв – среднее время восстановления: , N – число восстановлений; Твi – время восстановления после i-го отказа.	Измерительный + расчетный
Н0502	Оценка по продолжительности преобразования входного набора данных в выходной Qui: 1, если Tв ≤ Tв доп Qni = Tв доп / Tв, если Tni ≤ Tni доп, где Tni доп – допустимое время преобразования i-го входного набора данных; Tni – фактическая продолжительность преобразования i-го входного набора данных.	Измерительный + расчетный

Примечание: при экспертном методе оценки используется шкала 0-1

ГОСТ [2.38] рекомендует следующую методику оценки качества ПС.

1. На фазе анализа проводят выбор показателей и их базовых значений.

2. Для показателей качества на всех уровнях (факторы, критерии, метрики, оценочные элементы) принимают единую шкалу оценки от нуля до единицы.

3. Показатели качества на каждом вышестоящем уровне (кроме уровня оценочных элементов) определяются показателями качества нижестоящего уровня, т. е.:

- результаты оценки каждого фактора определяются результатами оценки соответствующих ему критериев;

- результаты оценки каждого критерия определяются результатами оценки соответствующих ему метрик;

- результаты оценки каждой метрики определяются результатами оценки определяющих её оценочных элементов.

4. В процессе оценки качества ПС на каждом уровне (кроме оценочных элементов) проводят вычисления показателей качества ПС, т. е. определение количественных значений абсолютных показателей (Р_ij), где j – порядковый номер показателя данного уровня для i -го показателя вышестоящего уровня и относительных показателей (K_ij), являющихся функцией показателя Р_ij и базового значения P .

5. Каждый показатель качества второго и третьего уровней (критерий и метрика) характеризуется двумя числовыми параметрами – количественным значением и весовым коэффициентом (V_ij).

6. Сумма весовых коэффициентов показателей уровня (l), относящихся к i-му показателю вышестоящего уровня (l – 1), есть величина постоянная. Сумма весовых коэффициентов V_ij принимается равной единице в соответствии с выражением

(3.1)

где n – число показателей уровня l, относящихся к i -му показателю вышестоящего уровня (l – 1).

7. Общая оценка качества ПС в целом формируется экспертами по набору полученных значений оценок факторов качества ПС.

8. Для оценки качества ПС различного назначения методом экспертного опроса составляется таблица значений базовых показателей качества ПС.

9. Определение усредненной оценки m_kq оценочного элемента по нескольким его значениям (m_э) проводят по формуле

, (3.2)

где k – порядковый номер метрики;

q – порядковый номер оценочного элемента;

э – индекс суммирования;

t – число значений оценочного элемента.

10. Итоговую оценку k -й метрики j- го критерия Р проводят по формуле

, (3.3)

где – признак метрики;

Q – число оценочных элементов в k -й метрике.

11. Абсолютный показатель критерия i -го фактора качества P_ij определяют по формуле

, (3.4)

где n – число метрик, отнесенных к j -му критерию.

12. Относительный показатель j -го критерия i -го фактора качества K_ij вычисляют по формуле

. (3.5)

13. Фактор качества R вычисляют по формуле

, (3.6)

где ф – признак фактора;

N – число критериев качества, отнесенных к i -му фактору;

К – признак критерия.

14. Качество ПС определяют путем сравнения полученных расчетных значений показателей с соответствующими базовыми значениями показателей существующего аналога или расчетного ПС, принимаемого за эталонный образец.

- Базовые значения показателей качества ПС должны соответствовать значениям показателей, отражающих современный уровень качества и прогнозируемый мировой уровень.

- В качестве аналогов выбирают реально существующие сертифицированные ПС того же функционального назначения, с такими же основными параметрами, подобной структуры и применяемые в тех же условиях эксплуатации, что и сравниваемые.

Дата добавления: 2015-07-19