Системный подход к управлению высокотехнологичными проектами. 2-е издание, переработанное и дополненное

• Испытание на срок службы (ресурс) для подтверждения того, что продукт будет продолжать функционировать в соответствии со своими требованиями на протяжении всего заданного срока службы.

• Экстремальные испытания для подтверждения того, что продукт будет продолжать функционировать в экстремальных сценариях эксплуатации внутри рабочего диапазона или при работе в различных условиях окружающей среды.

• Испытания на надежность, чтобы доказать, что продукт будет надежно функционировать с точки зрения частоты отказов на протяжении всего расчетного срока службы.

• Подтверждающее тестирование, чтобы продемонстрировать, что продукт, изготовленный методами массового производства, работает так же, как продукт, изготовленный на ранних этапах проекта.

Необходимым элементом валидации сложной техники являются испытания компонентов и системы в целом (модельные, натурные, квалификационные, в составе объекта, сертификационные). При испытании технические средства, такие как специальное оборудование, приборы, методы моделирования, используют для объективной оценки характеристик системы или ее компонентов на определение соответствия целевым значениям требований. Типовой тест включает процесс моделирования сценариев эксплуатации всей системы или ее части под ограниченным набором контролируемых условий, чтобы определить количественное выполнение проектных или эксплуатационных требований.

Ведутся работы по развитию численных испытаний с использованием цифровых двойников, виртуального моделирования динамических процессов в системе. Целью данного направления является замена части натурных испытаний системы (как правило, дорогостоящих и длительных) результатами цифрового моделирования статических и переходных режимов эксплуатации, а также нерасчетных случаев (частичных отказов узлов и агрегатов, нештатных условий применения и др.). Предварительно сами цифровые двойники (расчетные модели) должны быть верифицированы для подтверждения требований достоверности и точности расчетных результатов.

Комплексное тестирование включает выполнение полных рабочих сценариев для нескольких элементов конфигурации, гарантирующих, что все требования к системе будут проверены. Эксплуатационные сценарии должны быть описаны для всех режимов работы, фаз применения (например, установка, запуск, типичные примеры операций с нормальными и аварийными ситуациями, выключение и обслуживание) и критических последовательностей действий. В сценарии дается пошаговое описание того, как система должна работать в конкретных условиях применения.

В процессе валидации важно сравнить фактические результаты с ожидаемыми. После завершения деятельности по проверке результаты собирают и анализируют. Данные проверяют на качество, целостность, правильность, согласованность и достоверность. Любые несоответствия проверки (аномалии, варианты и условия несоблюдения) идентифицируют и пересматривают, определяют запросы, необходимые в результате проверки для привлечения помощи или изменения требования. Недостатки и рекомендуемые корректирующие действия и результаты разрешения должны быть записаны.

При планировании испытаний требуется:

• разработать подробные квалификационные требования к испытаниям;

• определить подробные архитектуры компонентов для тестовых ресурсов (выявить, какие специальные установки, измерительные приспособления и тестовые заглушки необходимы);

• инициировать разработку и изготовление необходимых стендов;

• сформировать матрицы испытаний (выделить производные требования к функциональным и физическим архитектурам);

• написать детальные планы квалификации для каждого компонента с учетом ресурсов;

• создать сценарии тестирования с учетом нормативной документации;

• определить необходимые данные мотивации для каждого вида деятельности;

• написать программы испытаний и процедуры анализа результатов;

• определить графики по срокам испытаний и анализа.

В таблице 2 показан пример матрицы верификации для плана испытаний продукта. В левых столбцах указаны пункты технического задания для верификации и названия этапов работ. В последних колонках показаны выбранные верификационные методы по типам.

Планирование процедур верификации узлов и компонентов должно учитывать потребные сроки на проектирование и изготовление стендов и моделей. В одной из организаций проектирование стендов поручили разработчикам системы в порядке очередности. В результате на два года сорвали сроки испытаний из-за задержки изготовления стендов.

Таблица 2

Легенда: А-анализ, Д-демонстрация, Т-тест, И-инспекция.

Для испытаний сложной техники широко применяют наземные стенды систем и компонентов, в том числе прочностные, где проводят статические и ресурсные испытания. Статические испытания определяют способность конструкции выдерживать высокие однократные нагрузки. Ресурсные испытания позволяют спрогнозировать поведение конструкции при повторяющихся нагрузках, характерных для типовой эксплуатации. В авиации, например, используют стенды для специальных испытаний, где проводят климатические тесты, а также испытания на внешние воздействия (попадание птиц, молниестойкость, пожаростойкость и др.). Полный набор базовых требований к испытаниям компонентов авиационной техники изложен в стандарте КТ-160 (DO-160G) «Условия окружающей среды и процедуры испытаний для бортового авиационного оборудования», содержащем 26 разделов. При работах по указанному стандарту используемые стенды должны быть предварительно сертифицированы на соответствие этим требованиям.

В общей сложности на этапе разработки нового гражданского самолета применяют от 20 до 50 наземных стендов в зависимости от уровня сложности решаемых технических задач. Поэтому следует стремиться замещать результатами виртуального моделирования поведения аэрокосмической, автомобильной, атомной и другой сложной техники значительную часть дорогостоящих наземных, летных и специальных испытаний.

Сложные динамические модели и виртуальное моделирование широко используют для принятия критических решений в области проектирования, разработки, производства и эксплуатации, для проверки эксплуатационных и нерасчетных режимов работы системы. Обоснование достоверности получения доброкачественных результатов моделирования достигается путем:

1) обеспечения правильной постановки задач моделирования (например, пользователи не могут вводить в расчет параметры, выходящие за пределы заданного диапазона режимов);

2) разработки процессов верификации и валидации инструментов, сертификации расчетных моделей на основе эксплуатационных данных и типовых экспериментов;

3) разработки и идентификации отраслевых стандартов для документации, управления конфигурацией и обеспечения качества моделирования;

4) разработки стандартного метода оценки достоверности результатов моделирования, представляемого уполномоченному органу, принимающему решения.

Технический лидер отвечает за обеспечение достоверности результатов этих мероприятий по моделированию. В ряде случаев на практике можно сократить плановые сроки процессов тестирования. Для этого могут быть использованы:

a) легко проверяемые требования;

b) пошаговые руководства по планированию, проведению и обработке испытаний;

c) модели и виртуальное моделирование;

d) надежная конструкция для изменения параметров компонента, процесса изготовления;

e) стандартизация процессов и документов;

f) применение ускоренных эквивалентно-циклических испытаний;

g) доступность испытательного оборудования (стендов) и измерительных систем;

h) независимость компонентов системы;

i) эмулятор оборудования для непроверенного программного обеспечения;

j) проверенное программное обеспечение для непроверенного оборудования;

k) модульное, «восходящее» (снизу-вверх) тестирование;

l) готовый план испытаний и процедуры тестирования, контроль критического пути графика работ.

В качестве примера важности верификации в космической программе рассмотрим происшествие с аппаратом Genesis в 2004 г. Он был запущен NASA в 2001 г. для сбора и анализа заряженных частиц, выдуваемых из короны Солнца (солнечного ветра). По плану возвращения на Землю, после входа в атмосферу капсула должна была выпустить первичный парашют, который бы замедлил и стабилизировал падение. Затем должен был раскрыться основной парашют для совершения мягкой посадки. Оба парашюта не сработали при приземлении, аппарат разбился о землю на скорости 350 км/час. Два разных комплекта контрольных датчиков (срабатывавших по величине ускорения торможения и по росту температуры) были включены наоборот (сравнительно со спецификациями). После работы аварийной комиссии выявлены причины происшествия:

1) схема использования датчиков для выпуска парашютов скопирована с предыдущей успешной модели;

2) верификационные требования расплывчаты, наземный тест срабатывания на центрифуге не затребован;

3) конструктор проверил срабатывание датчиков (открыто-закрыто), при этом не была проведена верификация ориентации датчиков;

4) электрик-монтажник некорректно провел верификацию ориентации по чертежу;

5) проверяющие вынесли решение, что проект системы выполнен правильно, так как скопирован с удачного аналога;

6) инженер, готовивший аппарат к полету, не замкнул обратную связь с проектантом, т.к. не потребовал обсудить результаты испытаний.

В результате аварии виновными признаны конструктор (не проведен обзор проекта) и испытатель (не выполнена верификация системы выпуска из-за копирования предыдущего решения).