Метрологическая экспертиза ПО?

Обсуждение метрологических вопросов

Метрологическая экспертиза ПО?

Сообщение Ксения Панкрушина » 31 май 2006, 14:41

Здравствуйте все!
Кто-нибудь может что-нибудь подсказать по поводу проведения МЭ программного продукта. Чем руководствоваться (НД)? Кто это может сделать (институт, центр и т.п.)?
А если этот программный продукт используется для испытаний изделия?

Спасибо
Ксения Панкрушина
 

Сообщение Иван Андрианов » 31 май 2006, 15:01

:rolleyes:
Ув. Ксения расшифруйте свою просьбу, пока ничего не понятно, первый раз слышу о метрологической экспертизе ПО, что эталон, где шкала...?
Иван Андрианов
 

Сообщение Ксения Панкрушина » 31 май 2006, 15:49

Программный продукт - это то же продукция.
Если Вы работали с "военкой", то знаете, что в ходе ОКР образец продукции (изделия, комплекса и т.п.) должен пройти метрологическую экспертизу, сам образец изделия и документация на него. Вопрос - как быть с ПО, тоже ведь продукт, так сказать. Слышала я про один ОСТ (полагаю, закрытый для общего распространения), читать не читала...
А если уж по сути, для испытания нашего нового изделия используется установка, в которую включены три ПК со специализированным ПО, поскольку результаты такого "тестирования" являются основанием для признания изделия годным/негодным, я так понимаю, ПО должно быть аттестовано. Вот и спрашиваю у умных людей, так такое бывает?
Буду очень признательна (виртуальной шоколадкой, если придумаю как ':)') за любую информацию
Ксения Панкрушина
 

Сообщение Иван Андрианов » 31 май 2006, 16:07

Работал с военкой это правда, а теперь только и делаю что работаю с ПО :D и ума не приложу с какого бока можно метрологию приложить, но Вы меня заинтриговали буду думать еще :-D
Иван Андрианов
 

Сообщение Александр Семериченко » 31 май 2006, 18:22

Иван Андрианов писал(а):Работал с военкой это правда, а теперь только и делаю что работаю с ПО :D и ума не приложу с какого бока можно метрологию приложить, но Вы меня заинтриговали буду думать еще :-D


Проблемы потери части информации при оцифровке и внутренней обработке данных (ограничение разрядности переменных)? Достоверность полученных обработанных данных (все функции вычисляются косвенными методами и результат 2 х 2 =3,99999... вполне реален)
Это не метрология, но где-то близко.
Александр Семериченко
 

Сообщение Остапчук Александр » 31 май 2006, 19:54

Ксения!

Покопайтесь здесь - http://itgost.tlt.ru/index.php

и здесь - http://internet-law.ru/standarts/index.htm

и здесь - http://www.csrs.ru/gost/gost.htm

И уж если это не поможет - то вопрос к профи на форуме - http://authorit.ru/forum/

Только не говорите - что для СМК - могут не ответить.
Остапчук Александр
 

Сообщение Ксения Панкрушина » 01 июн 2006, 13:45

Спасибо, ссылки полезные даже в плане того, что можно стандарты скачать...
А для СМК или "неСМК" - для меня лично все СМК, что касается Нормальной Организации разработки и производства и Нормальной Продукции. Хотя при проверках на предприятиях часто об СМК и не упоминаешь. Помню, на одном предприятии проверяла ИЛ, так мне сотрудники лаборатории прямо сказали "Вы что пришли проверять? Систему качества? Вот Вам документы - читайте!" и дали заводское руководство по качеству, еще должностные инструкции, "А Вы почему протоколы аттестации оборудования спрашиваете?(':P')"
Вопрос по МЭ ПО действительно скользкий...
И как доказать заказчику, что датчик при тестировании с помощью ПО обнаруживает именно то, что нужно (там по процедуре настраивается определенный сигнал в децибеллах)...
Ксения Панкрушина
 

Сообщение Дмитрий Чекунов » 02 июн 2006, 07:11

Ксения Куликова писал(а):Спасибо, ссылки полезные даже в плане того, что можно стандарты скачать...
А для СМК или "неСМК" - для меня лично все СМК, что касается Нормальной Организации разработки и производства и Нормальной Продукции. Хотя при проверках на предприятиях часто об СМК и не упоминаешь. Помню, на одном предприятии проверяла ИЛ, так мне сотрудники лаборатории прямо сказали "Вы что пришли проверять? Систему качества? Вот Вам документы - читайте!" и дали заводское руководство по качеству, еще должностные инструкции, "А Вы почему протоколы аттестации оборудования спрашиваете?(':P')"
Вопрос по МЭ ПО действительно скользкий...
И как доказать заказчику, что датчик при тестировании с помощью ПО обнаруживает именно то, что нужно (там по процедуре настраивается определенный сигнал в децибеллах)...


Ксения , я бы даже сказал не скользкий вопрос , а вопрос , на который к сожалению пока нет ответа.
Для МЭ ПО нужно , чтобы это был написан документ на основании которого можно провести МЭ,таких документов я не встречал.
Еще более интересный вопрос - это аттестация ПО. В приватной беседе с представителем одного из подразделений ТЮВ Серт , получил ответ , что никто пока не знает как это делать , но пункт такой в ИСО 9001 есть и это несоответствие - вот такой парадокс .
Однако , анализировав ситуацию , пришел к одному мнению , надо обращаться в территориальный ЦСМ, где будет написана методика и т.д. и в комплексе будет проведена МЭ и аттестация , что является на мой взгляд единственным выходом из данной ситуации.
Дмитрий Чекунов
 

Сообщение Иван Андрианов » 02 июн 2006, 08:38

Что-то не понятно зачем аттестововать отдельно ПО?
ПО входит в состав СИ или системы для испытаний, правильно?
МЭ подвергается вся система, есть же методики поверки/аттестатиции сложных СИ (даже осцилогрофы, частотомеры и пр. цифровые сегодня идут с ПО), так?
Вы же не подвергаете поверке/аттестации отделные узлы этой системы, а ПО это такой же "узел" и если весь комплекс прошел поверку/аттестацию, значит и с ПО все ОК, нет - значит надо искать причину и не факт, что она в ПО,
Если не прав поправьте.
Иван Андрианов
 

Сообщение Дмитрий Чекунов » 02 июн 2006, 09:18

Иван Андрианов писал(а):Что-то не понятно зачем аттестововать отдельно ПО?
ПО входит в состав СИ или системы для испытаний, правильно?
МЭ подвергается вся система, есть же методики поверки/аттестатиции сложных СИ (даже осцилогрофы, частотомеры и пр. цифровые сегодня идут с ПО), так?
Вы же не подвергаете поверке/аттестации отделные узлы этой системы, а ПО это такой же "узел" и если весь комплекс прошел поверку/аттестацию, значит и с ПО все ОК, нет - значит надо искать причину и не факт, что она в ПО,
Если не прав поправьте.


п.7.6 Если при мониторинге и измерении установленных требований используют компьютерные программные средства,их способность удовлетворять предполагаемому применению должна быть подтверждена.Это должно быть осуществлено до начала применения и повторно подтверждено по мере необходимости.

У нас разговор о чем , что в процессе измерений , используется как СИ , так и ПО . Есть например , такая система , где СИ подключается к ПК и на выходе ПК мы получаем результат измерений . с СИ все понятно , поверено , а что делать с ПО , каким образом подтвердить, что оно удовлетворяет заданным требованиям.
Вот и вопрос , как определить , что ПО им удовлетворяет ?
Нужно либо эталонное ПО для сравнения требований,либо измерять посредством подключения к ПК ,эталонного СИ , что не всегда возможно.
Дмитрий Чекунов
 

Сообщение Иван Андрианов » 02 июн 2006, 09:37

Дмитрий, что есть эталонное ПО?
Любое программное обеспечение есть продукт интеликтуального творчества, одну и туже задачу разные группы программеров решат на 100% по разному и эти программы - конечные продукты будут сильно различаться и по быстроте и по объему и по....
Более того программ без ошибок просто не существует по определению все дело в критичности.
Если ПО имеет критичные ошибки, то никакое подключение к эталонному оборудованию не позволит Вам отследить это.
Кстати если отбросить субъективные показатели :быстродействие, интерфейс, удобство и пр... это единственое что может повлиять на точность измерений это алгоритм программы (т.е. логическое наполнение), а оценить качество этого может только другой программист но исходя исключительно из собственного опыта/знаний/видения.
Так что единственный путь, как мне кажется, это проведение одних и тех же испытаний без ПО с помощью аналоговой техники или на другом оборудование но не ниже классом точности и сравнение результатов с оборудованием на ПО.
Иван Андрианов
 

Сообщение Александр Воробьёв » 02 июн 2006, 09:55

Иван Андрианов писал(а):Дмитрий, что есть эталонное ПО?
Любое программное обеспечение есть продукт интеликтуального творчества, одну и туже задачу разные группы программеров решат на 100% по разному и эти программы - конечные продукты будут сильно различаться и по быстроте и по объему и по....
Более того программ без ошибок просто не существует по определению все дело в критичности.
Если ПО имеет критичные ошибки, то никакое подключение к эталонному оборудованию не позволит Вам отследить это.
Кстати если отбросить субъективные показатели :быстродействие, интерфейс, удобство и пр... это единственое что может повлиять на точность измерений это алгоритм программы (т.е. логическое наполнение), а оценить качество этого может только другой программист но исходя исключительно из собственного опыта/знаний/видения.
Так что единственный путь, как мне кажется, это проведение одних и тех же испытаний без ПО с помощью аналоговой техники или на другом оборудование но не ниже классом точности и сравнение результатов с оборудованием на ПО.

Иван
аттестация ПО не касается наличия ошибок в программе, она подтвердает, что это ПО соответствет предъявлемым к нему требованиям. Иначе говоря, проводится испытания (опытная эксплуатация) ПО, по результатам которого произвдится его оценка соответствия (аттестация, возможно в виде утверждения) для применения (промышленной эксплуатации)...
Аватара пользователя
Александр Воробьёв
Модератор
Модератор
 
Сообщения: 11336
Зарегистрирован: 16 сен 2004, 12:42
Откуда: Санкт-Петербург
Благодарил (а): 194 раз.
Поблагодарили: 152 раз.

Сообщение Дмитрий Чекунов » 02 июн 2006, 10:03

Иван Андрианов писал(а):Дмитрий, что есть эталонное ПО?
Любое программное обеспечение есть продукт интеликтуального творчества, одну и туже задачу разные группы программеров решат на 100% по разному и эти программы - конечные продукты будут сильно различаться и по быстроте и по объему и по....
Более того программ без ошибок просто не существует по определению все дело в критичности.
Если ПО имеет критичные ошибки, то никакое подключение к эталонному оборудованию не позволит Вам отследить это.
Кстати если отбросить субъективные показатели :быстродействие, интерфейс, удобство и пр... это единственое что может повлиять на точность измерений это алгоритм программы (т.е. логическое наполнение), а оценить качество этого может только другой программист но исходя исключительно из собственного опыта/знаний/видения.



Так что единственный путь, как мне кажется, это проведение одних и тех же испытаний без ПО с помощью аналоговой техники или на другом оборудование но не ниже классом точности и сравнение результатов с оборудованием на ПО.


Иван , я вообще то , о том же .
Пока нет нормативных документов , регламентирующих этот вид измерения ( с помощью ПО) , мы не можем выполнить этот пункт ИСО 9001 , или можем выполнить только косвенным методом, который не совсем корректен .
Дмитрий Чекунов
 

Сообщение Павел Новиков » 02 июн 2006, 10:08

Каких НД нет?
ГОСТов и иже с ними?

Ну и что?

Требования 9001 можно выполнить и без них.
Павел Новиков
 

Сообщение Дмитрий Чекунов » 02 июн 2006, 10:45

Павел Новиков писал(а):Каких НД нет?
ГОСТов и иже с ними?

Ну и что?

Требования 9001 можно выполнить и без них.


Как ?
применительно к указанному выше обсуждению и пункту 7.6 ???
Если бы это была отрасль отличная от метрологии - наверно , а в метрологии некоторые шаги не сделать без соответствующих НД , а ИСО только продекларировал , что это надо делать и все , а как нет ни одного предложения .
Дмитрий Чекунов
 

Сообщение Иван Андрианов » 02 июн 2006, 10:55

Вообще тема очень интересная, как оценить погрешность ПО, к какому классу погрешностей ее отнести, методика и пр.
А где нибудь в инете есть форум метрологов?
Иван Андрианов
 

Сообщение Александр Воробьёв » 02 июн 2006, 11:07

в догонку, может это не совсем то...
ГОСТ Р ИСО 10303-32-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 32. Методология и основы аттестационного тестирования. Требования к испытательным лабораториям и клиентам
ГОСТ Р ИСО 10303-31-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения
Дата введения 01.07.2003
Аватара пользователя
Александр Воробьёв
Модератор
Модератор
 
Сообщения: 11336
Зарегистрирован: 16 сен 2004, 12:42
Откуда: Санкт-Петербург
Благодарил (а): 194 раз.
Поблагодарили: 152 раз.

Сообщение Иван Андрианов » 02 июн 2006, 11:15

Алескандр, Вы не много не о том.
Как аттестировать ПО это не ново и методик таких не счесть, также как проверка на соответствие ТЗ.
Мы то тут говорим о том, как оценить вклад ПО в общую погрешность СИ!
Иван Андрианов
 

Сообщение Павел Новиков » 02 июн 2006, 11:42

Иван Андрианов писал(а):Алескандр, Вы не много не о том.
Как аттестировать ПО это не ново и методик таких не счесть, также как проверка на соответствие ТЗ.
Мы то тут говорим о том, как оценить вклад ПО в общую погрешность СИ!


Так как Вы и говорили:
Измерить физ величину при помощи аппаратных "эталонных" заменителей ПО (включая рассчёты вручную) + эталонное инструментальное СИ.
Затем измерить при помощи ПО + эталонное инструментальное СИ.

(при прочих равных условиях, принятых в качестве идеальных)

Оценить разницу.

Ессно - это принципиально.
Частонстей много.
Для частносей и разрабатывается методика.
И почему нельзя это сделать без гостов и метр. зак-ва.

Только что у Ксении отрасль - военка, тут могут быть проблемы с ГОСТами и пр.
Павел Новиков
 

Сообщение Александр Воробьёв » 02 июн 2006, 11:49

Иван Андрианов писал(а):Алескандр, Вы не много не о том.
Как аттестировать ПО это не ново и методик таких не счесть, также как проверка на соответствие ТЗ.
Мы то тут говорим о том, как оценить вклад ПО в общую погрешность СИ!

Иван
ИМХО как бывшего прогаммиста, курировавшего и такие работы, и как практикующего аудитора -- тут нет универсальных решений... (ПО электронного микроскопа VS ПО MASR-N) в каждом случае может быть своя методика...
и практика такого примения есть... она всегда рядом с прогаммистом...
Аватара пользователя
Александр Воробьёв
Модератор
Модератор
 
Сообщения: 11336
Зарегистрирован: 16 сен 2004, 12:42
Откуда: Санкт-Петербург
Благодарил (а): 194 раз.
Поблагодарили: 152 раз.

След.

Вернуться в Метрология

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1