Генеральный план тестирования и оценки - Test and evaluation master plan

Генеральный план тестирования и оценки ( TEMP ) является критическим аспектом управления проектами с участием сложных систем, которые должны удовлетворять требованиям спецификации. TEMP используется для поддержки программных событий, называемых контрольными решениями, которые разделяют отдельные фазы проекта. Для военных систем уровень финансирования определяет категорию приобретения и организацию, ответственную за решение вехи.

Матрица отслеживания , как правило , используется для связывания элементов в пределах TEMP к элементам в пределах спецификации .

Определение

Генеральный план тестирования и оценки документирует общую структуру и цели тестирования и оценки программы. Он охватывает действия в течение жизненного цикла программы и определяет критерии оценки для тестировщиков.

Генеральный план тестирования и оценки состоит из отдельных тестов. Каждый тест содержит следующее.

  • Сценарий тестирования
  • Сбор информации
  • Оценка эффективности

Тестовый сценарий

Сценарий тестирования устанавливает условия тестирования. Обычно это связано с конкретным профилем миссии. Для военных систем это будет боевой сценарий, который может включать в себя испытание и оценку в реальном времени (LFT & E). Для коммерческих систем это может включать особую ситуацию, связанную с использованием разрабатываемого объекта.

Например, работа в холодную погоду может потребовать оценки работы при температурах ниже C с использованием климатической камеры. Для оценки работы с автомобильным интерфейсом может потребоваться оценка совместимости с испытанием на вибрацию . Оценка интернет-магазина потребует, чтобы система провела пользователя через покупку продукта, в то время как система загружена другим трафиком.

Сценарий тестирования определяет следующее.

  • Предметы, необходимые для тестирования
  • Инструкции по настройке элементов, которые будут использоваться во время теста
  • Общее описание работы с тестируемой системой
  • Конкретные действия и события, которые будут происходить во время теста

Сбор информации

Сбор данных определяет информацию, которая должна быть собрана во время теста. Это включает предварительную настройку перед началом теста. Это может включать подготовку к любому из следующих действий.

  • Настройки тестируемой системы
  • Отдельная аппаратура
  • Письменные заметки от прямого наблюдения
  • Сбор образцов

Системы, в состав которых входит компьютер, обычно требуют возможности извлекать и записывать определенные виды данных из системы, пока она работает нормально.

Сбор электронных данных может быть запущен и остановлен как одно из действий, описанных в сценарии тестирования.

Когда доступ к данным ограничен, поэтому для передачи данных между организациями может потребоваться план сбора данных . Это может происходить с засекреченными военными системами .

Данные анализируются после завершения тестирования. Этот анализ называется оценкой производительности.

Оценка эффективности

Меры эффективности - это особые метрики, которые используются для измерения результатов в общей миссии и выполнения поставленных задач.

Они могут иметь гибкие пределы производительности, связанные с результатом конкретного события. Например, первый выстрел, выпущенный из пушки, нацеленной с помощью радара, не повлияет на конкретное место, но положение может быть измерено с помощью радара, поэтому система должна быть способна доставить снаряд в определенном радиусе после нескольких выстрелов. уволен. Количество выстрелов, необходимых для попадания одного в лимит, - это МО. Радиус будет мерой производительности (MOP).

Показатели эффективности - это особые показатели, которые должны быть выполнены в пределах допустимого или отрицательного результата. В спецификации они обычно обозначаются словами должен или должен .

Один из типов MOP - это расстояние, которое транспортное средство с определенной нагрузкой должно пройти с определенной скоростью, прежде чем закончится топливо.

Другой тип MOP - это расстояние, на котором радар может обнаружить отражатель в 1 квадратный метр.

Показатели пригодности оценивают возможность поддержки в предполагаемой операционной среде.

Например, это может быть оценка среднего времени наработки на отказ (MTBF), которая оценивается во время другого тестирования. Система с чрезмерным количеством отказов может удовлетворять всем другим требованиям и быть непригодной для использования. Пистолет, который заклинивает при загрязнении, не подходит для использования в военных целях.

Эти требования связаны с умениями.

  • Надежность
  • Доступность
  • Ремонтопригодность
  • Возможность поддержки
  • Юзабилити

Цель

Результаты оценки TEMP используются для нескольких целей.

  • Отказ: решение о прекращении финансирования
  • Редизайн: решение о финансировании модификации и повторного тестирования
  • Производство в полном объеме: решение о приемке финансирования
  • Планирование миссии

Планирование миссии включает перевод MOE, MOP и MOS в следующее.

ROC и POE - это особые ожидания, оцениваемые TEMP, которые используются для определения того, как развертывать активы для удовлетворения конкретных требований миссии. Диагностическое тестирование гарантирует, что эти ожидания оправдаются на протяжении всей миссии.

Другое использование

Термин «генеральный план тестирования и оценки» как отдельное общее руководство по функциям тестирования и оценки при разработке также использовался Министерством обороны Австралии. Другие используют этот термин или аналогичные термины, такие как «Мастер-тест и план оценки».

Смотрите также

Ссылки

внешние ссылки