Ориентация на прибыль - основной дефект современного мышления в менеджменте.

Практическая квалиметрия в системе качества: ошибки и заблуждения

Г.Г. Азгальдов

     Перспективы использования квалиметрии как составного элемента управления качеством связаны с ее междисциплинарным и межотраслевым характером. Главные направления ее использования - решение задач по планированию выпуска новых изделий, исследованию рынка и обеспечению конкурентоспособности на внутреннем и внешнем рынках. Существует специальная литература, в которой подробно анализируется вопрос о том, как и в каких сферах деятельности менеджеров можно и нужно применять аппарат квалиметрии в условиях рыночной экономики [1, 2].
     Однако опыт показывает, что при использовании квалиметрии допускается неправильное, примитивное использование ее инструментария. (Автор имеет в виду применение квалиметрии, которое не базируется на научно обоснованной методологии количественной оценки качества, разработанной в теоретической квалиметрии.) Неправильное применение квалиметрии (я называю такое примитивное использование не "квалиметрией", а "квазиметрией") может привести к печальным результатам. Приведу только два примера (хотя их можно было бы привести очень много).
     В 80-е годы у нас в стране бурно развивалась Государственная аттестация качества продукции. Лучшей продукции, соответствующей мировому уровню, присваивался Знак качества. Причем, расчеты оценки качества проводились на основе вроде бы квалиметрии. (На самом деле, это была чистая квазиметрия.) В результате, к 1985 г. около половины продукции (45%), подлежащей аттестации, получило Знак качества (в некоторых отраслях, например, строительного и дорожного машиностроения, процент был значительно выше - до 79). Значит, по идее, все это была продукция мирового уровня, что при очень низких ценах на нее должно было обеспечить большой рост конкурентоспособности и соответственно резкое увеличение доли экспортируемой продукции машиностроения. На самом деле все происходило с точностью до наоборот. К этому времени доля продукции машиностроения в экспорте упала до 4%, а что касается передовой, наукоемкой техники - до 0,6%. Главная причина - самообман в оценивании качества, оказавшийся возможным из-за подмены квалиметрии квазиметрией. И не имеет принципиального значения, что тогда было время плановой экономики, а сейчас - рыночной: характер ошибок, допускаемых при оценивании качества, и последствия этих ошибок по существу одни и те же.
     Еще пример. В 1999 г. мне пришлось участвовать в совещании, где рассматривался промежуточный отчет по НИР, заданной Министерством науки и технологии. Тема НИР "Качество жизни: критерии и количественное оценивание". Очевидно, раз в названии присутствуют два ключевых слова - качество и количественное оценивание, то речь идет (не может, точнее не должна не идти) о квалиметрии. А на самом деле - ничего похожего. В первом варианте отчета квалиметрия просто не упоминалась. Но не в этом дело. В конце концов, называй как хочешь, как говорится, "хоть горшком, но в печь не сажай". Значительно хуже то, что количественную оценку качества жизни в этом отчете предлагали делать по методологии 30-летней давности, игнорируя все то, что было наработано в теоретической квалиметрии за это время. Постараемся убедить руководителей этой НИР, что предложенная ими методология оценки качества жизни - недопустима. Что если ее использовать, то можно освятить авторитетом науки совершенно ни с чем не сообразные выводы о действительном положении у нас с качеством жизни.
     Сравнительно недавно подобный вывод сделали и опубликовали в средствах массовой информации известные экономисты, доктора экономических наук Л. Пияшева и И. Бирман. Они заявили, что, по их расчетам, с 1991 по 1998 гг. уровень жизни населения России возрос. Но если так о крупнейшей экономической проблеме позволяют себе говорить доктора экономических наук, то какой после этого спрос с других.
     Возникает естественный вопрос: а почему вообще возникает проблема использования квазиметрии вместо квалиметрии? Тут есть две основные причины.
     Во-первых, нередко считается, что количественно оценивать качество - довольно простая, почти элементарная задача. Руководителю достаточно дать распоряжение, и любой инженер или экономист, являющийся специалистом в соответствующей отрасли (или подоотрасли) производства, разработает необходимую методику количественного оценивания качества. А если при этом он еще применит компьютер, то какие-либо сомнения в совершенстве методики должны автоматически отпасть.
     Во-вторых, в подавляющем числе случаев люди, создающие (или применяющие ранее созданные) методики оценивания качества, просто не знают, что существует теоретическая квалиметрия. И что она диктует довольно жесткие требования, которым квалиметрические методики должны удовлетворять (чтобы квалиметрия не превращалась в квазиметрию). К сожалению, сказанное касается не только "рядовых" создателей методик оценивания качества, но и тех, кто пустил в оборот всемирно известные методики. Вроде германской системы "Варентест", на основе которой в журнале "Test" регулярно публикуются результаты количественного оценивания качества различных образцов товаров народного потребления. (Эти результаты некритически перепечатываются в некоторых отечественных изданиях - например, в журнале "Спрос".)
     Но, кроме неправильного использования, с квалиметрией применительно к проблеме качества связан и еще один недостаток. А именно: неиспользование инструментария квалиметрии там, где его нужно и можно применять. Однако из-за ограничений в объеме настоящей работы, этот недостаток здесь рассматриваться не будет.
     Типичные ошибки в методиках оценивания качества удобно рассматривать, в основном, в том порядке, который определяется общепризнанным алгоритмом квалиметрического анализа [3].
     Уточнение базовой терминологии. Еще Ф. Бэкон советовал: перед началом спора (в широком смысле - любого обсуждения проблемы) нужно уточнить терминологию. Поэтому проблема для своего правильного понимания требует предварительного четкого пояснения основных применяемых терминов. И, в первую очередь - терминов менеджмент и качество.
     Термин "качество" в данной статье (в соответствии с идеологией книги "Что такое качество?" и базирующемся на ней ГОСТ 15467-79) обозначает совокупность свойств любого объекта (в частных случаях - продукта или услуги), проявляющихся в процессе потребления (синонимы - эксплуатации, использования, применения) объекта и характеризующих достигаемые при потреблении результаты (положительные и отрицательные), но не затраты на его производство и потребление. Причем, качество, например продукции, определяют три фактора: качество проекта, качество материалов (сырья, полуфабрикатов, комплектующих) и качество работы (соблюдения проекта и норм, т. е. недопущения брака).
     Как известно, на качество готовой продукции эти три фактора влияют не в одинаковой степени. В подавляющем большинстве случаев наиболее важным (до 70%) является первый фактор.
     К сожалению, говоря о качестве продукции, очень часто (даже слишком часто) неправомерно сводят качество продукта только к одному (или, в лучшем случае, к двум) фактору (обычно - к качеству работы). Например, в течение всей так называемой пятилетки эффективности и качества в 70-х годах у нас в стране чуть ли не главным показателем успешного решения проблемы качества являлось снижение процента брака при изготовлении продукции. А качество проекта фактически недооценивалось или оценивалось неправильно. В результате, появлялись (и увеличиваются) значительные потери экономического, социального и даже политического характера. В дальнейшем я буду говорить, в основном, о качестве проекта, оказывающем решающее влияние на качество готовой продукции.
      Что касается термина "менеджмент", то здесь и в дальнейшем мною он будет пониматься как абсолютный синоним термина "управление" (применительно к производству, хозяйственным делам). Что это именно синонимы, причем, не относительные, а именно абсолютные, любой может убедиться, посмотрев достаточно солидные англо-русские и русско-английские словари. В связи с этим - одно предварительное замечание.
     Мне не совсем ясно (а более точно - совсем неясно), зачем устоявшиеся в русском техническом и экономическом лексиконе термины "управление", "управляющий" заменять терминами-синонимами "менеджмент", "менеджер". Логического объяснения этому я нигде найти не смог. Остается предполагать, что это явление того же порядка (и вызываемое теми же причинами), что и употребление вместо термина "болельщик" - термина "фан", вместо "подросток" - "тинэйджер", вместо "конец недели" - "уик-энд", вместо "неплатеж" - "дефолт", вместо "консультирование" - "консалтинг" и т. д. Примеров, к сожалению, можно привести слишком много. Но сегодня я гость, которому, как известно, со своим уставом в чужой монастырь: Словом, менеджмент - так менеджмент. Но я лично, пока еще это не квалифицируется как нарушение Уголовного кодекса РФ, все же буду употреблять старый добрый термин "управление".
     Применительно к термину "управление качеством" возникает потребность четкого разделения этого термина и некоторых других, близких по смыслу: "изменение качества", "улучшение качества", "ухудшение качества", "поддержание качества", "стабилизация качества". Смешение этих терминов также приводит к экономическим и другим потерям. Например, когда знакомишься с некоторыми рекламными заявлениями, в которых утверждается, что было осуществлено повышение качества продукции, то нередко видишь, что, на самом деле, речь идет не о повышении, а, в лучшем случае, об изменении качества. Поэтому были предприняты шаги к более точному определению таких близких категорий. И, более того, к их формализованному представлению. В связи с понятным ограничением на объем излагаемого материала, я не буду приводить здесь систему этих терминов и формализованных определений. Отмечу только, что друг от друга эти понятия отличаются полнотой информации о переменных параметрах, совокупность которых и характеризует процесс управления качеством. Эти величины суть:
     К - изменение величины показателя качества (по модулю и знаку);
     Т - изменение величины отрезка времени, в котором происходит изменение качества (по модулю).
     Всего выделено 12 теоретически возможных сочетаний этих параметров, и каждому сочетанию был поставлен в соответствие один из видов процесса изменения качества - улучшение, ухудшение, поддержание, стабилизация, управление. Отметим только, что в соответствии с таким подходом, управление качеством рассматривается как улучшение качества в заранее заданных пределах и в заранее заданные сроки.

Определение ситуации оценивания

     Практически в любых опубликованных (и не опубликованных, но используемых на практике) методиках количественного оценивания качества игнорируется необходимость перед началом работы по созданию таких методик определять ситуацию оценивания. В результате, например, ни создатели, ни тем более пользователи этих методик не знают, в какой шкале (порядка, интервалов или отношений) будут получены численные результаты по оцениванию качества. На самом деле, в подавляющем большинстве случаев эти результаты выражены в шкале порядка, что резко сокращает набор арифметических операций, которые можно производить с этими результатами. Соответственно сужается и сфера использования таких результатов (например, нельзя их применять для стимулирования улучшения качества продукции и услуг). Но пользователи и разработчики методик стараются расширить сферу их применения (что психологически понятно) и рекомендуют действовать так, как будто есть гораздо более информативная (но и гораздо более трудоемкая) шкала отношений. В результате, с помощью таких методик получают совершенно недостоверную информацию, касающуюся оценивания качества.
     Для исключения этого недостатка разработчики методики оценивания качества должны перед началом работы получить ответы на три группы вопросов, уточняющие условия:

применения объектов оцениваемого типа;

использования вычисленных оценок качества;

разработки методики оценивания качества.
     Ниже перечисляются некоторые (далеко не все!) из такого рода вопросов.
     Нужно ли учитывать, кто (с точки зрения интеллектуальных и физических возможностей) будет эксплуатировать оцениваемый объект?
     Каков уровень социальной иерархии того субъекта, с точки зрения которого будет производиться оценивание объекта?
     Нужно ли учитывать так называемые патентно-правовые свойства?
     Нужна ли в каждом конкретном случае максимальная точность оценки (имея в виду, что степень точности монотонно зависит от трудоемкости разработки и пользования методикой оценивания)?
     Нужна ли сопоставимость оценок качества разных объектов? [4]
     Построение дерева свойств. Всем понятно практически и обосновано теоретически, что оценки качества в очень сильной степени зависят от тех показателей (критериев) свойств, совокупность которых и образует модель качества оцениваемого объекта. Эта зависимость настолько велика, что вполне возможна следующая ситуация: при одном наборе показателей объект А будет лучше по качеству, чем объект Б. А при другом наборе - может быть наоборот: Б лучше А. Понятно поэтому, что набор показателей, по которым оценивается качество, должен быть как-то однозначно представлен (если и не стандартизирован). Более того, этот набор должен быть как-то упорядочен (декомпозирован) в некоторую иерархическую структуру (дерево свойств).
     В противном случае, т. е. без соблюдения этих двух условий, применительно к одному и тому же объекту оценивания, могут получиться совершенно разные результаты - с точностью до наоборот. Т. е. измерение качества будет проводиться не "стальным, а резиновым метром". Это не столько вина разработчиков, сколько их беда, обусловленная незнанием того, как выбрать правильный набор показателей, обеспечивающий измерение "стальным метром". Многие даже и не подозревают о существовании такой проблемы. Например, еще в 70-е годы в одной из статей уважаемого экономического журнала говорилось: "Словом, тем или иным способом декомпозируем качество на отдельные свойства". Но как уже отмечалось, при такой произвольной декомпозиции вполне может возникнуть ситуация "резинового метра".
     Чтобы противостоять этой опасности, в квалиметрии обоснован набор правил, следование которым гарантирует получение практически одинаковых деревьев свойств применительно к одному и тому же объекту, даже если эти деревья синтезировали разные люди независимо друг от друга (см., например, Стандарты и качество. - 1996. - № 11).
     Так вот, в подавляющем большинстве случаев при оценивании качества эти правила построения деревьев не соблюдаются. А это значит, что "линейка", которой измеряют качество, отнюдь не стальная, и верить полученным с помощью такой "линейки" результатам можно только с большим опасением.
     Например, весьма распространена ошибка, когда в дереве свойств оставляют только те показатели, которые являются наиболее важными. При этом ссылаются на то обстоятельство, что маловажные показатели почти не влияют на оценку качества именно в силу своей незначительности. Этот аргумент был бы справедлив, если бы речь шла о неучете только одного маловажного показателя свойства. Но в громадном большинстве случаев исключают из дерева свойств не одно, а очень много свойств. А суммарная важность всех этих свойств может быть весьма значительной, серьезно увеличивающей погрешность итоговой оценки качества.
     Еще один (из очень многих) пример. Нередко, сравнивая по качеству два (или больше) варианта объекта одного типа, для уменьшения трудоемкости расчетов исключают из рассмотрения те свойства, которые в одинаковой степени выражены в сравниваемых вариантах. При этом трактуют результаты оценивания таким образом, как будто они выражены в шкале отношений (т. е. позволяют получить информацию не только на сколько один вариант отличается по качеству от другого, но и во сколько раз проявляется это различие). На самом же деле, при подобном исключении одинаково выраженных свойств обычно невозможно получить результаты оценивания не только в шкале отношений ("во сколько раз"), но и в шкале интервалов ("на сколько"). В этом случае оценки качества могут быть выражены только в шкале порядка, т. е. давать информацию о том, кто лучше по качеству, но не на сколько лучше и, тем более - не во сколько раз лучше.
     Определение коэффициентов важности. Одна из распространенных ошибок при определении коэффициентов важности - ориентация только на технологию экспертного метода. На самом же деле, существуют и могут применяться (хотя и значительно реже) и аналитические (неэкспертные) методы определения таких коэффициентов. Причем обеспечивают бульшую точность оценки, чем методы экспертные. (Автором одного из таких методов, вероятно, впервые в мире изложенного на строго математической основе, был знаменитый русский механик и кораблестроитель академик А.Н. Крылов.)
     Но и при использовании экспертных методов определения значений коэффициентов важности, из-за незнания основ методологии квалиметрии допускаются большие погрешности. Так, в немецкой методике "Варентест" коэффициенты весомости при их определении округляются до чисел, кратных 5%. Значит, для свойств относительно маловажных, коэффициенты весомости которых принимаются равными 5 или 10%, погрешность, вносимая в вычисления, за счет подобного использования огрубленных данных может достигать 50% и даже более.
     И наконец, последнее по счету, но не по важности: при экспертном определении значений коэффициентов важности практически не встречаются методики, в которых бы содержались указания на погрешность, с которой вычислены эти коэффициенты. В то же время в теоретической квалиметрии [5] уже давно обоснованы расчетные формулы, с помощью которых можно решать взаимосвязанные задачи, например:
     задавшись доверительным интервалом и доверительной вероятностью, характеризующими желательную точность определения значений коэффициентов важности, определить необходимое число членов экспертной группы;
     зная число опрошенных экспертов, определить некоторые важные статистические характеристики результатов экспертного опроса (например, погрешность коллективной экспертной оценки).
     Разумеется, есть и другие особенности грамотного применения экспертного метода, незнание которых приводит к понижению точности результатов, полученных с помощью экспертов. Но они здесь не рассматриваются.

Определение эталонных и браковочных значений показателей свойств

     В очень многих (если не в большинстве) практических методиках оценивания качества допускается одна принципиальная ошибка, суть которой в следующем. Эталонные (часто неудачно называемые, в том числе и в терминологических стандартах, базовыми) значения показателей чаще всего принимаются с помощью одного из двух алгоритмов.
     1. Выбирается несколько объектов, аналогов по отношению к оцениваемому объекту; из них определяется лучший по качеству; значения показателей отдельных свойств этого лучшего объекта принимаются как эталонные значения.
     2. Для объектов-аналогов, выбранных по алгоритму 1, определяются лучшие для всей совокупности этих аналогов значения показателей каждого свойства. Эти значения и принимаются как эталонные.
     Нужно сказать, что в теоретической квалиметрии доказаны теоремы, из которых следует, что использование обоих алгоритмов может привести к крупным ошибкам в итоговых результатах (хотя вероятность такой ошибки при использовании первого алгоритма больше, чем при использовании второго). Там же показано, что правильный принцип назначения эталонных значений может быть только такой: значения должны выбираться как лучшие в мире (на момент оценивания качества) значения показателя соответствующего свойства.
     Сказанное (с точки зрения часто встречающихся ошибок и правильных алгоритмов определения значений) относится и к браковочным (часто не очень удачно называемых предельными) значениям показателей свойств.

Определение показателей свойств

     В очень многих методиках оценивания качества (как отечественных, так и зарубежных, например, в известной немецкой системе "Варентест") применяется не цифровая, а вербальная технология выражения градаций значений абсолютных показателей свойств. Например, часто используется вербальная шкала с пятью градациями: очень хорошо, хорошо, удовлетворительно, неудовлетворительно, очень неудовлетворительно. Иногда вместо такой вербальной используют эквивалентную ей цифровую пятибалльную шкалу. Но уже за счет подобного небольшого числа градаций относительная погрешность увеличивается до + 20%.
     Чтобы уменьшить величину относительной погрешности, нужно, при прочих равных условиях, увеличить число градаций. Но не в любых, т. е. максимальных размерах, а в тех, которые соответствуют психологическим возможностям человека. А эти возможности предопределяют, что оптимальное число градаций должно быть в пределах 10-12, т. е. должна использоваться знакомая всем пятибалльная шкала, дополненная промежуточными значениями "+" или "-".
      Сходных результатов можно добиться, если использовать не пятибалльную (с "+" и "-"), а 100%-ную шкалу с градациями через 10% (кроме начала и конца шкалы, где возможны и более мелкие градации). Разумеется, все сказанное относится к тем свойствам, для показателей которых или очень трудно, или по каким-то причинам нежелательно использовать для выражения их значений обычные физические единицы измерения.
     Для обеспечения сопоставимости значений абсолютных показателей Q_i (приведения их к одинаковому масштабу и выражения их в одинаковых единицах измерения) следует произвести их перевод в относительные K с помощью операции нормирования:
      K_ij=(Q_ij-q_i^бр)/(q_i^эт-q_i^бр)
     где i - номер свойства; j - номер оцениваемого объекта; q_i^эт и q_i^бр - соответственно эталонное и браковочное значения показателей свойства.
     Понятно, что 0K_ij1 и выражает линейную зависимость между функцией К и аргументом Q. В действительности, зависимость между этими величинами обычно бывает нелинейной [5], и ее линейная форма принимается просто из соображений большей простоты расчета.
     Однако нередко в практических методиках оценивания качества допускают различные отступления от приведенной выше формулы (что, естественно, имеет своим следствием увеличение погрешности в расчетах). Эти отступления могут иметь единичный характер или представлять некоторые комбинации из единичных отступлений, таких как:
     1) не учитывают такие компоненты формулы, как эталонное q_i^эт и браковочное q_i^бр значения;
     2) для свойств одного и того же объекта используют два совершенно разных вида зависимости:
     линейную при Q_ij<q_i^эт (K_ij=Q_ij/q_i^эт) и нелинейную (гиперболическую) при Q_ij> (K_ij=q_i^эт/Q_ij).
     Ясно, что использование двух разных типов зависимостей не имеет под собой какого бы то ни было логического обоснования.

Учет свойств надежности

     Наиболее распространенный в практике оценивания качества способ учета свойств надежности состоит в том, что надежность учитывается в ряду других показателей, совокупность которых составляет качество. Но согласно теории квалиметрии, такой подход принципиально неправильный по ряду причин.
     Во-первых, обычно при этом удается включить в расчет не все свойства, которые в соответствии с ГОСТ 27.003-90 "Надежность в технике. Состав и общие правила задания требований по надежности" в совокупности определяют понятие "надежность": сохраняемость, безотказность, ремонтопригодность и долговечность.
     Во-вторых (и это самое главное!), надежность не нужна сама по себе. Это не цель, а средство обеспечения проявления (реализации, существования) тех свойств, ради которых продукция (или услуга) и создавалась, т. е. свойств функциональности и эстетичности.
     По указанным выше причинам, надежность должна учитываться в виде коэффициента сохранения эффективности, характеризующего ту долю эталонного (т. е. самого лучшего в мире для объектов, аналогичных оцениваемому) времени существования объекта, в течение которого объект находится в состоянии готовности к немедленному использованию (не находится в ремонте, на техобслуживании, в состоянии отказа или морального износа). И этот коэффициент (изменяющийся от 0 до 1) должен умножаться на ту функцию свертки, с помощью которой учитываются все свойства функциональности и эстетичности (о характере этой функции поговорим дальше).

Определение значения комплексного показателя качества

     При применении предлагаемой методологии оценивания качества показатель качества К^к может быть выражен с помощью формулы средней взвешенной арифметической:

K_j^к=K_j^эK_ijG_i
     гдеK_j^к - показатель качества j-го оцениваемого объекта (0K_j^к1);
     K_j^э - коэффициент сохранения эффективности j-го объекта (0K_j^э1);
     К_ij - относительный показатель i-го свойства у j-го объекта (0К_ij1);
     G_i - коэффициент важности i-го свойства (0<G_i<1);
     n - полное число свойств, характеризующих качество оцениваемого объекта.
     Отметим особенность вычисления значения К^к. Среди i-х свойств выделяют так называемые критические", т. е. такие, для которых недопустимо существование неравенства: q_ijq_i^бр(где обозначает "хуже" или "равноценно"). Например, подобным критическим свойством для пищевых продуктов является "наличие вредных для здоровья химических веществ".
     Если же такое неравенство существует хотя бы для одного (любого) критического свойства, то принимается: К^к = 0.
     Таким образом, подытоживая нашу работу по типичным ошибкам, связанным с квалиметрическим анализом продукции, считаем необходимым подчеркнуть:

описанная выше методология относится только к одному (но самому распространенному) из многих методов квалиметрии;

применительно к этому методу рассмотрен только упрощенный (но не приближенный или, тем более, точный) его вариант;

изложение дано в очень краткой форме.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Некоторые вопросы применения квалиметрии в рыночной экономике. - Проблемы создания регулируемого рынка. - М.: Изд. ЦЭМИ РАН, 1991.
2. Конкурентоспособность и квалиметрия // Электронная техника. - Вып. 4. - 1990. - Сер. 9.
3. Азгальдов Г.Г. Общие сведения о методологии квалиметрии // Стандарты и качество. - 1994. - № 11.
4. Азгальдов Г.Г. Определение ситуации оценивания качества // Стандарты и качество. - 1995. - № 9, 12.
5. Азгальдов Г.Г. Теория и практика оценки качества товаров. Основы квалиметрии. - М.: Экономика, 1982.

Размещено на сайте Стандарты и Качество

Также на сайте:
К вопросу о применении SWOT - анализа при разработке стратегии фирмы
Список использованной литературы

Новое на форуме

Наши рассылки

на Subscribe.Ru (описание):

на Mail.ru(описание):

О проекте

quality.eup.ru - один из самых старых в рунете ресурсов, посвященных менеджменту качества во всем его разнообразии.

Нам более 7 лет, и все это время ресурс пополняется новыми и новыми материалами, почти ежедневно. Если вы ищете информацию о менеджменте вообще и управлении качеством в частности, скорее всего, вы найдете эту информацию здесь.

Кроме отличной и действительно большой подборки статей, действует живой форум по менеджменту качества.

Добавить в "Избранное"

Реклама на сайте