Как оценить качество услуги ОС по сертификации СМ?

[Роман Озеранский]

ко всем не съездить

Заказчику не надо чтобы к нему ехали, а тем более задавали дурацкие вопросы, все ли у него соответствует тому, как должно быть. Он не за это бабки платил, он их платил за то, чтобы ему выписали сертификат, без всяких лишних разговоров. Именно такую работу ОС он считает качественной .

[Михаил Шустер]

Вот отлично, что Виталий выложил конкретику
Мое мнение - пустышка. Мнение сферического коня в вакууме о конической кобыле в брабантских кружевах. Никакой пользы для организации эти замечания не несут. Стало быть, бесполезны и корректирующие\предупреждающие мероприятия, и подготовка к сертификации, и поддержание сертификата, и услуги ОС
Я пороюсь и помещу пример, когда аудит тех же самых требований ИСО дает совершенно другой уровень нахождения. У меня даже целая презентация была "Аудит, приносящий пользу", но я ее потерял. Кстати, это была дурацкая затея, учить простых людей приемам поиска блох у их начальников. Сколько лет тому, а до сих пор пепел в голове

[Михаил Шустер]

Ну вот, что то попалось под руку. Фрагмент отчета 12-ти летней давности, еще по старому ИСО
Это выхлоп двухдневного аудита второй стороны, не консалтинг
Ограничение 100 килобайт - издевательство. Пришлось повозиться

[Виталий Эйнула]

Ограничение 100 килобайт - издевательство. Пришлось повозиться

я вообще проМудил 20 минут

[Виталий Эйнула]

это как? Поясните логику, пожалуйста

логику чего?
Сколько у вас человек работает в ОС?
Сколько у вас новых контрактов в год,приблизительно?
Сколько ИК нужно провести в год, приблизительно?

[Андрей Михельсон]

Сколько у вас...

это не важно (да я и не знаю цифр)
логика последовательности:

, ко всем не съездить как по времени так и по деньгам

значит у кого то не будет ИК, на которые они рассчитывают.

страдает качество услуги

Почему не съездить? Что мешает?

[Владимир Четыреков]

тему слили?

[Виталий Эйнула]

тему слили?

так возродите

[Владимир Четыреков]

тему слили?

так возродите

Вам вон сколько вопросов задали. Вы молчите

[Виталий Эйнула]

тему слили?

так возродите

Вам вон сколько вопросов задали. Вы молчите

вы считаете 14 год актуальным?..
как бы вы оценили качество услуг ОС? есть у вас какие то критерии оценки ?

[Владимир Четыреков]

вы считаете 14 год актуальным?..
как бы вы оценили качество услуг ОС? есть у вас какие то критерии оценки ?

за два года мало что изменилось в механизме сертификации.
О критериях оценки самому интересно

[Черкасов Дмитрий]

Предлагаю подойти к вопросу с другой стороны.

Конечный пользователь сертификата соответствия не организация-заявитель, а их потребители, для которых важно, как была проведена оценка соответствия, и насколько эта оценка была объективной. Ценность для организаций-заявителей найденных у них несоответствий и рекомендаций органа по сертификации в системе менеджмента - побочный продукт, существование которого весьма спорный факт. Это очевидно следует из простого анализа интересов: покупателю нужна обеспеченное качество по наименьшей цене; продавцу - наибольшая цена с наименьшими затратами. Организация не заинтересована в сертификации собственной системы менеджмента (равно как и продукции), поскольку это лишние накладные расходы. По сути к этому её принуждают собственные потребители. Зачем? - Потому, что они заинтересованы в этом. Отсюда вывод: наиболее заинтересованными в качестве сертификации являются потребители организации-заявителя, а не сами заявители.

Парадокс заключается в том, что деньги платит не заинтересованное лицо, а организация-заявитель, имеющее цели отличные (если не противоположные) целям реально заинтересованных лиц. Поэтому о качестве сертификации сложно говорить при общепризнанной схеме сертификации, поскольку её оценку "проводят" лица, заинтересованные в снижении стоимости, а не в повышении качества.

Представим на секунду, что схему сертификации можно было бы поменять: заказчиком сертификации становится не организация-заявитель, а её потребитель. Что тогда? Тогда реальный заказчик сертификации:
а) заинтересован в наиболее жесткой оценки соответствия своих поставщиков на предмет соответствия установленных требований;
б) имеет возможность лоббировать свои интересы в критериях соответствия и порядке проведения сертификации;
в) имеет возможность оценивать сертификацию путём уже хотя бы банального сличения результатов сертификации и реальности после заключения договоров с поставщиками.
Собственное всё то, что он делает при аудите второй стороной. Организация, в которой проводится аудит второй стороной может сильно пострадать от чрезмерной заинтересованности в этих пунктах своего потребителя. В том числе поэтому существует сертификация третьей стороны.

Но теперь вернёмся к оценке проведения сертификации.
Как проводится оценка собственного аудита второй стороной в какого-нибудь потребителя некоторой организации? Обычно проводится тупо по результативности: проведён аудит, поставщик (не)соответствует. Но это не оценка качества самого аудита - это тупо отписка для начальства.

Попробуем представить, что мы заинтересованы в проведении аудита второй стороной нашего потребителя. И не просто заинтересованы, но являемся владельцем этого процесса и хотим его мониторить по каким-то параметрам. Что нас будет интересовать в этом процессе? Какие характеристики выбрать в качестве параметров?

Во-первых, наверное, результативность: количество проведённых аудитов относительно плана - это никогда не будет лишним, тем более время на расчёт этого показателя стремится к нулю.
Во-вторых, стоит учесть количество проверенных пунктов стандарта, подтверждённых материальными свидетельствами аудита (их отношение к общему числу собранных свидетельств). Тут стоит пояснить, что не все свидетельства могут быть собраны и должны собираться в виде материальной доказательной базы, хотя и, по сути, каждому пункту стандарта должно соответствовать свидетельство аудита. Также стоит учесть, что сертификация строится на выборочной оценке свидетельств. Этот показатель уже характеризует качество самой сертификации - уровень доказательной базы. Нам, как потребителям организации, в которой мы собираемся проводить проверку, этот показатель очень интересен, т.к. он характеризует реальное положение дел в этой организации, а не формальную отписку, мол, "провели аудит, там всё ок (там ва-аще пи-"№4-ец)".
В-третьих, непременно, необходимо определить степень учёта наших (как организации) интересов в ходе проведения аудита второй стороной. То есть, насколько проверяемая организация соответствует нашим собственным требованиям к их системе менеджмента (или что мы там у них проверяем). А почему нет? Это мы им деньги платим за их продукцию - пускай прогибаются под нас. А коли так, то наши аудиторы должны проверять тщательнее те вопросы, которые интересны нашей организации и под тем соусом, под каким нам это нужно. Например, у нас есть чек-лист с обязательными вопросами, ответы на которые должны 100% соответствовать именно нашему видению, иначе будем ругаться с поставщиком или вообще откажемся от их услуг (при наличии альтернативы).
Ещё, пожалуй, можно учитывать эффективность проводимого аудита: количество денег/рабочего времени и т.д., затраченных на аудито-единицу.

З.Ы., параметры выдумывал по ходу письма на скорую руку: скорее всего, при внимательном рассмотрении, что-то стоит поменять.

Возвращаясь в канву существующей темы, вот вам и оценка качества услуги ОС по сертификации СМ (см. параметры выше или придумайте свои по этой же схеме). Да, это не аудит второй стороны: сертификация органом - это аудит третьей стороны, что накладывает значительные ограничения в виду схемы оплаты труда, но если мы уж говорим о качестве, не трогая при этом деньги, то брать необходимо именно интересы конечного потребителя. От этого зависит, кстати, имидж органа по сертификации и вообще системы, в которой он действует.

Возвращаясь из идеалистического мира Платона в материализм Карла Маркса, следует понимать, что орган по сертификации, действительно, находится меж двух огней: с одной стороны, он получает деньги от собственных заявителей, чьи интересы заключены в фразе "мои деньги - мои правила" (подробнее в первом сообщении темы); с другой стороны, он ограничен правилами сертификации системы сертификации, в которой функционирует, что немаловажно, но что ещё более важно, его имидж (ценность и, следовательно, его сертификатов соответствия) прямо и очень чувствительно зависят от того, насколько действительно хорошими поставщиками окажутся организации-заявители, прошедшими сертификацию в органе по сертификации.

[Роман Озеранский]

Конечный пользователь сертификата соответствия не организация-заявитель, а их потребители, для которых важно, как была проведена оценка соответствия, и насколько эта оценка была объективной.

Во взаимоотношениях b2b это имеет значение, во взаимоотношениях b2c потребителям без разницы есть сертификат ISO 9001 или его нет.

По сути к этому её принуждают собственные потребители. Зачем? - Потому, что они заинтересованы в этом. Отсюда вывод: наиболее заинтересованными в качестве сертификации являются потребители организации-заявителя, а не сами заявители.

А разве сертификация системы менеджмента (качества) подтверждает или улучшает качество продукции? Нет. Поэтому вопрос остается открытым - зачем Заказчику надо чтобы у подрядчика был сертификат ISO 9001? На форуме тоже есть коллеги-практики, которые будучи Заказчиками выкатывали подрядчикам требование о наличии у них сертификата ISO 9001, но внятно объяснить зачем они это делали, не могли.

[Радэ Бошкович]

Дмитрий, вы постарались описать объективный подход к оценке качества услуги ОС, но в ваших рассуждениях, по-моему, содержатся некоторые неточности, которые искажают картину. Попытаюсь указать на них.

Конечный пользователь сертификата соответствия не организация-заявитель, а их потребители, для которых важно, как была проведена оценка соответствия, и насколько эта оценка была объективной.

Я мог бы согласиться с этим, при условии, что придем с согласию, что предмет оценки соответствия является важным для потребителя. В некоторых случаях, как лабораторные испытания, контроль в строительстве итд. это действительно так, поэтому существуют разные схемы оценки соответствия где прежде всего проверяется безопасность. В случае сертификации системы менеджмента совершено не ясно, в чем состоит важность этой оценки для конечного потребителя. Поэтому Роман и говорит, что для потребителя не имеет значения ни факт сертификации СМК, ни "качество" этой оценки.

Организация не заинтересована в сертификации собственной системы менеджмента (равно как и продукции), поскольку это лишние накладные расходы. По сути к этому её принуждают собственные потребители. Зачем? - Потому, что они заинтересованы в этом. Отсюда вывод: наиболее заинтересованными в качестве сертификации являются потребители организации-заявителя, а не сами заявители.

С этим я полностью согласен, при прежнем условии - что можно доказать, что факт сертификации что-то значит для потребителя.

Организация, в которой проводится аудит второй стороной может сильно пострадать от чрезмерной заинтересованности в этих пунктах своего потребителя. В том числе поэтому существует сертификация третьей стороны.

Тут я должен прямо сказать "нет", причем имею в виду оба тезиса. У меня есть некоторое право так сказать, поскольку 15 лет я по сути работал в системе аудита второй стороны, и участвовал в разработке схемы сертификации третьей стороны. Даже в ситуациях, когда потребитель 100% навязывает свои правила игры, поставщик пострадать не может: он или заключит договор с потребителем, или не заключит. Всегда есть и другие потребители. Я не прошел аудит покупателя А? Ничего страшного, буду продавать покупателю Б. Конечно, я говорю про рынок свободной конкуренции, на других рынках никакие общие правила не применимы. Далее, покупатель, который проводит аудит второй стороной, не заинтересован в том, чтобы уничтожить своего потенциального поставщика, он заинтересован только в том, чтобы не пострадало качество его закупок. Поэтому, он помогает потенциальным поставщикам научиться качественно работать. Я смотрел, как Boeing, Ericsson и Coca-Colla это делали, а в качестве представителя Армии делал и я. Мы все помогали, и очень сильно, но халатную работу не пропускал никто из нас. Поэтому, пострадать может только тот, кто настолько плохой, что способность процесса не удовлетворяет требования, или он в такой пропасти, что никакое улучшение не сможет профинансировать.

Аудит третьей стороной создавался не с целью разработки какой-то беспристрастной системы оценки, он создавался с целю уменьшения потребности к аудите второй стороной через гармонизацию требований и создание органов, которые оценкой будут заниматься профессионально. С одной стороны, содержать собственный штат аудиторов достаточно дорого, а с другой - присутствие аудиторов разных покупателей очень сильно мешает работе организации. Я помню одного производителя электронных приборов у которого одновременно работали органы военной приемки, Телекома, железнодорожники и полиция, все с разными требованиями и с разными системами оценки. И вот тут схема сертификации третьей стороны и провалилась, она никому ничего не гарантирует. Поэтому, те органы по сертификации которые хотят оценивать поставщиков в атомной, авиационной и других отраслях, после аккредитации в национальной системе должны пройти аккредитацию самых производителей.

Во-вторых, стоит учесть количество проверенных пунктов стандарта, подтверждённых материальными свидетельствами аудита (их отношение к общему числу собранных свидетельств).

Я вот это не понимаю. Вы тут предполагаете, что все пункты набора требований равны между собой и их можно просто так перечислять. Это не так ни для ИСО 9001:2015, а в других случаях это еще более ясно. Например, предположим что вы проводите аудит по этому стандарту и находите, что все пункты выполнены на 100% (есть доказательства), кроме 6.2. Вы будете считать эту систему удовлетворительной? Я - нет, хотя это только одно из множества требований.

Поскольку вы говорите об аудите второй стороной, то сразу появляется вопрос области и критериев аудита. Если область - СМК поставщика, а критерии - ИСО 9001, сразу скажу, что этого недостаточно ни для квалификации поставщика, ни для последующего надзора, поскольку для закупщика способ проведения операции не может не иметь значения. ИСО 9001 говорит "что", но вторая сторона очень часто говорит и "как", т.е. вмешивается в технологию. Помню, что тот самый Boeing приостановил верификацию одного потенциального поставщика потому, что у них на заводе в процессе использовались инструменты, качество которых с точки зрения Boeing было неудовлетворительно.

В итоге хочу сказать, что конкретно этот ваш критерий для аудита второй стороной выбран неудачно.

орган по сертификации, действительно, находится меж двух огней: с одной стороны, он получает деньги от собственных заявителей, чьи интересы заключены в фразе "мои деньги - мои правила" ...; с другой стороны, он ограничен правилами сертификации системы сертификации, в которой функционирует, что немаловажно, но что ещё более важно, его имидж... прямо и очень чувствительно зависят от того, насколько действительно хорошими поставщиками окажутся организации-заявители, прошедшими сертификацию в органе по сертификации.

Последнее зависит от того, сможем ли мы доказать, что существует связь между "качеством" поставщика и наличием сертификата на СМК. Если бы эта связь существовала, то никаких двух огней не было бы. А так в битве денег с качеством побеждают деньги.

Я бы предложил бы вернуться к базовым вопросам:
- какое значение для пользователя / закупщика имеет факт наличия/отсутствия сертификата на СМК у поставщика А?
- влияет ли выбор органа по сертификации на коммерческие взаимоотношения?

Только после нахождения ответа на эти вопросы можно рассматривать способы оценки качества услуги сертификации.