Терминология: валидация

Фрагменты книги А. Горбунова

Модератор: Андрей Горбунов

Терминология: валидация

Сообщение Андрей Горбунов » 20 апр 2015, 10:36

Практический комментарий к ISO 9001:2008 А. Горбунов (c)

Валидация (подтверждение пригодности)
Определение.PNG

Читая определения терминов «верификация» и «валидация», невольно задаешься вопросом, а в чем же разница? Формально она состоит в том, что в первом определении фигурируют «specified requirements» («установленные требования»), а во втором – «requirements for a specific intended use» («требования для указанного предполагаемого применения»). Неужели это так принципиально?
Чтобы понять это, рассмотрим простой пример.
У нас есть часы – замечательные, отличные часы, отвечающие всем установленным требованиям, т.е. имеющие статус «верифицировано» (в виде отметки службы контроля качества очень уважаемого производителя). Будучи на отдыхе на побережье прекрасного моря, мы решаем погрузиться с аквалангом для осмотра местных подводных достопримечательностей. И перед нами встает вопрос: надо ли перед погружением снимать часы или можно нырять в них? Если переходить на язык требований, то в связи с нашими планами к часам предъявляется новое требование, вытекающее из «предполагаемого использования»: они должны быть водонепроницаемыми, причем сохранять это свойство до глубины не менее 15-20 метров. И чтобы решить возникшую проблему, мы должны, используя имеющиеся у нас «объективные свидетельства», установить, обеспечит ли конструкция часов герметичность механизма и дальнейшую работоспособность устройства в целом, не подвергнется ли коррозии от морской воды корпус и браслет. Т.е. мы должны получить подтверждение пригодности часов для предполагаемого использования. В данном случае нам потребуется изучить данные производителя о часах (например, водонепроницаемое ли исполнение и, если да, то какое давление выдерживает корпус), выяснить, из какого металла сделаны корпус и браслет, не подвержен ли этот металл коррозии. Соответственно, справки о том, что часы выдерживают (или не выдерживают) заданное давление, что материал корпуса и браслета не подвержен (или подвержен) коррозии от воздействия морской воды – это и будут те самые «объективные свидетельства», на которые мы будем опираться при проведении валидации.
Для обеспечения возможности подтверждения пригодности есть одно важное – критически важное! – условие: должно быть известно «конкретное предполагаемое применение». Если такой информацией мы не располагаем, то и ни о какой валидации речи быть не может. В отличии от подтверждения соответствия (верификации), для проведения которой достаточно требований, установленных для рассматриваемого объекта.
Резюмируя вышесказанное, можно сказать, что подтверждение соответствия (верификация) дает ответ на вопрос, соответствует ли проверяемая продукция требованиям, а подтверждение пригодности (валидация) призвана ответить на вопрос, может ли (имеет ли право) эта продукция быть использована по такому-то назначению.
Таким образом, главное отличие подтверждения пригодности (валидации) от подтверждения соответствия (верификации) состоит в том, что при оценке в качестве критерия берется способность соответствовать предполагаемому применению. Т.е. при подтверждении пригодности нас интересует не соответствие установленным требованиям само по себе, а возможность применения по конкретному назначению. Поэтому повторю еще раз: пока не известно применение, не может быть и подтверждения пригодности.
К примерам валидации можно отнести следующее:
• утверждение документа,
• решение о пригодности образца по результатам натурных испытаний,
• аттестация,
• аккредитация,
• подписание акта приема-сдачи.
Пара примеров для иллюстрации.
1) простой карандаш – отвечает всем требованиям и у нас нет оснований отказать ему в подтверждении соответствия требованиям. Но вот определены условия применения: рисовать надо будет под водой. И теперь нам на основании данных о свойствах материалов, примененных при производстве карандаша, необходимо решить, можно использовать этот карандаш по заданному назначению или нет. И возможно, что наш прекрасный во всех отношения карандаш не может быть признан пригодным (валидирован) для этих требований, т.к. он не способен рисовать под водой. Мы можем сделать этот вывод, основываясь на таких объективных свидетельствах, как:
• инструкция по эксплуатации карандаша, если она содержит указания на область и условия применения,
• справка о свойствах материала грифеля, в частности, способности оставлять след под водой, а также быть устойчивым к воздействию воды,
• протокол натурных испытаний (пытаемся, набрав в ванну воды, рисовать под водой карандашом – вот вам и смоделированные условия применения, упомянутые в Примечании 2 к определению валидации),
• протоколы аналогичных испытаний, проведенных ранее другими, и т.д.
2) внутренний нормативный документ (например, стандарт организации) – имеет все согласующие подписи, т.е. все подтвердили его соответствие установленным требованиям. Утверждающее документ лицо должно убедиться, что он пригоден для предполагаемого применения, и поставить свою подпись, придающую документу нормативную силу. Для этого он должен удостовериться, что:
• устанавливаемые документом положения и требования не противоречат целям организации (как минимум) и способствуют их достижению,
• документ отвечает своему назначению, т.е., по сути, мысленно смоделировать выполнение документа и посмотреть, соответствуют ли виртуальные результаты ожидаемым,
• документ не нарушает целостности системы управления, т.е., с одной стороны, не создает дублирования ответственности или ее отсутствия, а с другой, не создает противоречий в распределении ответственности и т.д.
Судя по тому, что поисковая система на запрос «Разница между верификацией и валидацией» откликнулась двумя сотнями тысяч ссылок, вопрос является актуальным. В свое время я посвятил ему отдельную лекцию[1] в рамках Курса молодого бойца. Когда мы ищем различие между верификацией и валидацией, то следует делать акцент не на том, что при этом делается, а на то, с какой целью.
Вот типичный пример:
«…приёмочные испытания в условиях, имитирующих эксплуатацию: это и верификация и в то же время валидация. Вот опытная эксплуатация - это чисто валидация. А ещё создание и оценка различных макетов, прототипов и т.п. - это валидация чисто. Во множестве же случаев - одну и ту же активности можно причислить и к валидации и к верифкации». (из материалов дискуссий на форуме quality.eup.ru/forum, орфография и синтаксис оригинала сохранены).
Рассмотрим его подробней.
1. «приёмочные испытания в условиях, имитирующих эксплуатацию: это и верификация и в то же время валидация». Ключевые слова здесь – «имитирующие эксплуатацию» (т.е. условия эксплуатации). Они наводят нас на мысль, что выполняемые действия (приемочные испытания) призваны ответить на вопрос: «пригодна ли проверяемая продукция для конкретных условий [эксплуатации]?». Т.е. речь явно идет о подтверждении пригодности применения, т.е. валидации, а совсем не верификации. Можно предположить, что проверяемая продукция имеет документ, подтверждающий ее соответствие требованиям (штамп ОТК, например).
2. «Вот опытная эксплуатация - это чисто валидация». Да, если опытную эксплуатацию понимать, как проверку работоспособности продукции в реальных условиях эксплуатации.
3. «А ещё создание и оценка различных макетов, прототипов и т.п. - это валидация чисто». Точнее сказать, часть процесса валидации, связанная с получением «объективных свидетельств», особенно в тех случаях, когда их нельзя получить в реальных условиях. Например, невозможно «продуть» в аэродинамической трубе целый самолет (особенно такой, как, скажем, Airbus 380), но необходимо подтверждение того, что спроектированный аппарат пригоден для планируемых режимов полета).
4. «Во множестве же случаев - одну и ту же активности можно причислить и к валидации и к верификации». К сожалению, примеры, приведенные автором высказывания, не подтверждают его утверждения, а других он в ходе обсуждения не дал. Но, с другой стороны, действительно, одна и та же деятельность может выполняться как в ходе верификации, так и валидации. К чему относить эту деятельность – к подтверждению соответствия или пригодности – будет определяться не ею самой, а целью, ради которой она выполняется. Например, мы проверяем соответствие детали чертежу. Если этим действием мы хотим установить степень соответствия, то это верификация. Но, допустим, у нас вышла из строя в машине какая-то деталь, у нас нет оригинальной запасной, но есть много от других машин. Тогда мы опять же проверкой соответствия детали чертежу (только всего устройства, в которое она должна быть поставлена) можем установить ее пригодность для замены. И в этом случае мы должны будем нашей проверкой подтвердить пригодность детали для размещения (т.е. конкретного применения).
Для желающих поразмышлять приведу без комментариев интересную мысль, высказанную одним из участников упомянутой выше дискуссии:
«Верификация – оценка полноты решения относительно постановки задачи (множества требований к решению).
Валидация – оценка адекватности решения относительно самой проблемы»
.
А вот еще один пример попытки объяснить разницу (взято на http://www.kok.kz/FAQ-2848.html):
«…различным является то, что валидация выполняется до начала рабочей деятельности, мониторинг в процессе рабочей деятельности, а верификация после получения результатов этой рабочей деятельности
Пример 1. Проверку готовности к запуску производственной линии следует считать валидацией по отношению к производству продукции, но для процесса обслуживания этой производственной линии она является верификацией.
Пример 2. Наблюдение за рабочей температурой во время производства продукции является мониторингом, а проводимый одновременно с мониторингом отбор проб и образцов является верификацией
».
Увы, но формулировка в первом абзаце противоречит определениям терминов, которые ничего не говорят о временной последовательности. Более того, если мы говорим о верификации и валидации одной и той же продукции, то они могут выполняться только после завершения «рабочей деятельности», т.е. после производства продукции.
Трактование в примере 1 неверно, т.к. разница не в том, по отношению к какому процессу производится проверка, а каковы цели проверки.
Пример 2 также неудачен, ибо «отбор проб и образцов» никоим образом подтверждением соответствия не является, т.к. не содержит в себе главного элемента: сравнения с эталоном для установления степени соответствия ему и выработки решения «да, соответствует» (или «нет, не соответствует»).
Давайте для наглядности сведем различия верификации и валидации в таблицу.
Таблица.PNG

Для примера рассмотрим вопрос, который был задан на форуме по менеджменту качества: «Что есть валидация образовательной услуги?»[2].
Перефразируя в соответствии с определением термина вопрос, его можно сформулировать так: «Каким образом можно подтвердить, что требования, предназначенные для конкретного предполагаемого использования или применения образовательной услуги, выполнены?». И сразу становится понятным, что первым шагом в ответе на поставленный вопрос должно быть выяснение этих самых требований.
Но дело в том, что подготовка в вузе носит общий характер и не ориентирована на «конкретное предполагаемое использование или применение», т.е., строго говоря, в отношении обычной образовательной услуги действует верификация, т.е. проверка выполнения установленных, например, в государственном образовательном стандарте, требований. Валидация же может потребоваться, если какая-то организация обратится в вуз с заказом на подготовку специалистов для работ в конкретных условиях. Вот тогда и появятся те самые «требования, предназначенные для конкретного предполагаемого использования или применения» образовательной услуги. И будет ясен практический смысл такой валидации: подтверждение (или наоборот, неподтвердждение) способности предлагаемой вузом услуги обеспечить выполнение «требований, предназначенных для конкретного предполагаемого использования или применения».
Например, представители организации могут изучить учебные планы и требования, оценить уровень подготовки на различных этапах (скажем, проводя интервью со студентами различных сроков обучения), оценить компетентность преподавателей и их способность дать именно те знания и навыки, что нужны организации, изучить опыт работы выпускников в аналогичных по профилю и требованиям организациях. И на основании собранных объективных свидетельств сделать соответствующий вывод.


[1] Горбунов А.В. Чем отличается валидация от верификации, http://www.pqm-online.com/50
[2] viewtopic.php?f=35&t=1191&start=220


Здесь доступны материалы в pdf
У вас нет необходимых прав для просмотра вложений в этом сообщении.
Право сомневаться не отменяет обязанности думать
Аватара пользователя
Андрей Горбунов
Администратор форума
Администратор форума
 
Сообщения: 3918
Зарегистрирован: 25 янв 2005, 18:06
Откуда: Москва
Благодарил (а): 10 раз.
Поблагодарили: 259 раз.

Вернуться в Практический комментарий к ISO 9001:2008

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 0