Orzekanie o zgodności wyników pomiarów. Część 2. Porównanie ILAC G8 a ISO 14253-1 i ISO 14253-6

Cześć! Jak pewnie zauważyliście zmieniłem ostatnio strategię pisania postów na bloga. Kolejne posty staram się dopasowywać do zgłaszanych przez Was najbardziej problematycznych zagadnień. I tak po publikacji posta na temat ISO 10012 przeprowadziłem ankietę, gdzie miażdżącą przewagą wskazaliście niepewność pomiaru i spójność jako najbardziej wymagające. O niepewności na blogu pisałem póki co dwukrotnie (TU i TU) stopniując napięcie przy wprowadzaniu w ten pozornie ciężki temat.

Zanim we wspomnianej serii przejdziemy do grande finale, chciałbym zamknąć temat ściśle związany, osobiście dla mnie może nie tyle trudniejszy, co bardziej wymagający w praktycznym zastosowaniu. Temat ten to orzekanie o zgodności według najnowszych wytycznych, do którego póki co popełniłem maksymalnie proste wprowadzenie TUTAJ. Dziś włączamy wszystkie światła w ciemnej piwnicy i wyjaśniamy kwestie orzekania w całości opisując wszystkie stosowane reguły i wskazując różnice pomiędzy ILAC G:8 a ISO 14253-1 a także dość niszowym jak się okazuje przewodnikem ISO 14253-6.

Fundamenty

Zanim przejdziemy dalej usystematyzujmy wiedzę i fakty:

1. Jesteśmy metrologami i zajmujemy się pomiarami;)
2. Pomiary nie są wykonywane dla sztuki, ale żeby stwierdzić zgodność z wymaganiami
3. Zgodność z wymaganiami należy oceniać z jak najmniejszym ryzykiem podjęcia błędnej decyzji, bo błędne decyzje to koszty jakości lub braku jakości
4. Każdy pomiar jest obarczony niepewnością, która zwiększa ryzyko podjęcia błędnej decyzji
5. Wartość rzeczywista nie musi równać się wartości zmierzonej, a szerokość niepewności pomiaru z określonym poziomem prawdopodobieństwa określa przedział, w którym się ona znajduje.
6. Niepewność pomiaru zmniejsza strefę akceptacji, obcinając granice tolerancji z obu stron przedziału.
7. Jako że wynik pomiaru ma charakter zmiennej losowej i poruszamy się w obszarach prawdopodobieństwa, decyzja o zgodności może być inna niż tylko zgodny/ niezgodny

Uff… Z doświadczenia wiem, że zwłaszcza punkt 5 brzmi jak postulat rebeliantów, no bo przecież jak w tolerancji to zgodne, jak poza – niezgodne. A na granicy? Oczywiście też zgodne…

Stan obecny

Kwestie orzekania o zgodności ustalają na rynku obecnie dwa kluczowe dokumenty (oraz cała masa opartych na nich przewodników branżowych czy krajowych…):

1. ILAC G:8 – Wytyczne dotyczące zasad podejmowania decyzji i stwierdzeń zgodności
2. ISO 14253-1:2017. Specyfikacje geometrii wyrobów (GPS) – Kontrola wyrobów i sprzętu pomiarowego za pomocą pomiarów – Reguły orzekania zgodności lub niezgodności ze specyfikacją.

Oba dokumenty opierają się na tym samym założeniu: niepewność pomiaru zmniejsza pulę wyników, które możemy uznać za zgodne. Co do zasady różnią się tym, że w inny sposób definiują wielkość tzw. pasm ochronnych.

Reguły orzekania o zgodności dzielimy na binarne i niebinarne. Binarne to te, które kończą się decyzją zgodny/ niezgodny. Niebinarne dopuszczają stwierdzenia pośrednie.

Konsekwencją wprowadzenia pasm ochronnych jest podział na trzy strefy:

• strefa akceptacji – wyniki w tym polu uznajemy za zgodne:

• strefa niepewności (pasmo ochronne) – wyniki bez jednoznacznej oceny

• strefa odrzucenia – wyniki niezgodne

Wskazaliśmy już, że celem stosowania omawianych metod jest redukcja ryzyka. Dwie kluczowe i krytyczne dla zarządzania jakością (w metrologii przemysłowej, bo w innych dziedzinach może równie dobrze chodzić o zdrowie czy życie) sytuacje, których chcemy unikać to:

• Ryzyko błędnej akceptacji (False Accept Risk – FAR), inaczej ryzyko odbiorcy. To sytuacja, w której wynik uznano za zgodny, ale w rzeczywistości był poza specyfikacją
• Ryzyko błędnego odrzucenia (False Reject Risk – FRR), inaczej ryzyko producenta. Wynik znalazł się poza specyfikacją, ale w rzeczywistości był zgodny.

Obie sytuacje wynikają z faktu, że wartość zmierzona nie jest taka jak rzeczywista, co spowodowane jest niezerowym przedziałem niepewności.

Proponowane przez omawiane dokumenty wielkości pasm ochronnych oferują różne poziomy ryzyka obu kategorii, stąd winny być dobierane stosownie do celu.

Zanim przejdziemy do omówienia konkretnych reguł musimy przyswoić sobie jeszcze kilka pojęć i skrótów:

• TL – granica tolerancji
• Granica akceptacji (AL) – określona (U) górna lub dolna (L) granica dopuszczalnych wartości wielkości zmierzonych
• Pasmo ochronne (w) – przedział między granicą tolerancji a odpowiadającą jej granicą akceptacji gdzie długość przedziału w = |𝑇𝐿 − 𝐴𝐿|
• Test Uncertainty Ratio (TUR)- iloraz tolerancji TL wielkości mierzonej i 95% rozszerzonej niepewności pomiaru procesu pomiarowego gdzie 𝑇𝑈𝑅 = 𝑇𝐿/𝑈.
• Górna granica specyfikacji – górna granica tolerancji, USL
• Dolna granica specyfikacji – dolna granica tolerancji, LSL

Prosta akceptacja

Najprostszą i często wystarczającą regułą jest reguła prostej akceptacji. Prosta akceptacja charakteryzuje się najwyższym ryzykiem błędnej akceptacji, które może osiągać wartości 50% w przypadku, gdy wynik znalazł się na granicy tolerancji. W tym scenariuszu granica akceptacji jest równa granicy tolerancji.

Wynika to z faktu, że reguła ta nie uwzględnia bezpośrednio niepewności pomiaru w procesie decyzyjnym. Nie znaczy to, że jest całkowicie pomijana w procesie – aby bezpiecznie zastosować regułę prostej akceptacji niepewność pomiaru powinna być znana i najlepiej pomijalnie mała, rzędu poniżej 10% specyfikacji.

Prosta akceptacja to reguła binarna, bez pasm ochronnych, zatem kończy się orzeczeniem zgodny/ niezgodny.

Kiedy stosować prostą akceptację:

• Niepewność pomiaru jest znacznie mniejsza od tolerancji (stosunek U/T < 0,1)
• Wymagana jest jasna ocena OK/ NOK
• Ryzyko błędnej akceptacji jest akceptowalne z punktu widzenia bezpieczeństwa i jakości

Przykładem w miarę (oczywiście zależnie od krytyczności…) bezpiecznego stosowania prostej akceptacji niech będą wewnętrzne decyzje jakościowe czy choćby stwierdzanie zgodności przyrządów pomiarowych (zalecenie stosowania tej reguły znajdziemy chociażby w normie DIN 878:2018 czy ISO 13385-1:2019, a więc aktualnych dotyczących przyrządów pomiarowych).

Binarne zasady podejmowania decyzji, dające zmniejszenie ryzyka konsumenta, zawsze zwiększają ryzyko producenta

Reguły z pasmem ochronnym

W ILAC G8 poza prostą akceptacją opisano reguły wykorzystujące pasma ochronne w dwóch wariantach: binarnym i niebinarnym. Reguła binarna z pasmem ochronnym różni się od prostej akceptacji w praktyce tym, że wyniki otrzymane w paśmie ochronnym uznaje się za niezgodne, co mocno ogranicza ryzyko błędnej akceptacji.

Reguła niebinarna proponowana przez ILAC G8 wydaje się z kolei najlepiej zbalansowaną pod kątem ryzyka FAR i FRR, dlatego też zalecana jest instytucjom zewnętrznym orzekającym o zgodności takim jak laboratoria. Jest też jednak najbardziej rygorystyczna.

Pamiętajmy, że uzyskanie decyzji o braku możliwości orzeczenia lub o warunkowej akceptacji czy odrzuceniu powoduje konieczność podjęcia finalnej decyzji przez zgłaszającego. Reguła ta wyraża po prostu niemożność uzyskania pewności decyzji przez stronę oceniającą.

Pasmo ochronne ma typowo wartość równą rozszerzonej niepewności pomiaru na stronę (łącznie 2xU). Pamiętajmy też, że mając na myśli „wynik” czy „wartość zmierzoną” operujemy rozkładem normalnym, krzywą Gaussa o poziomie ufności ok 95% przy k=2 (2 odchylenia standardowe w lewo i prawo od wartości zmierzonej).

Rozkład normalny w większości przypadków charakteryzuje wyniki wzorcowania.

Kiedy zatem stosować ILAC G8 z pasmem ochronnym?

• Gdy krytyczność decyzji jest wysoka
• Standardowe podejście dla większości laboratoriów

Reguła ISO 14253-1

Norma ta definiuje domyślne reguły, które mają zastosowanie, jeśli strony nie uzgodniły inaczej:

• Ryzyko błędnej akceptacji (FAR): Granica prawdopodobieństwa zgodności p oznacza, że ryzyko błędnej akceptacji wynosi 1-p, czyli 5% dla 95% poziomu ufności.
• Pasmo ochronne: Dla rozkładu normalnego, aby uzyskać 95% prawdopodobieństwo zgodności, stosuje się współczynnik pasma ochronnego wynoszący 1,65 (2×0,83) złożonej niepewności standardowej

W ISO 14253-1 szerokość pasma ochronnego jest więc mniejsza, bo wynosi 1,65 x U (0,83 na stronę). Daje to mniejszy poziom bezpieczeństwa, ale i zwiększa pulę wyników, które możemy uznać za zgodne, co przekłada się na większą użyteczność w przemyśle.

Wybór właściwej metody orzekania o zgodności to balansowanie między kosztami a bezpieczeństwem

Kiedy stosować ISO 14253-1:

• Pomiary geometryczne (zalecenie norm GPS)
• Optymalizacja kosztów jakości

Podsumowanie omawianych reguł znajdziecie poniżej:

Złoty środek?

Podsumowując dotychczasowe wiadomości możemy uprościć sprawę do następującej postaci:

• dla laboratoriów wewnętrznych najczęściej wystarczy prosta akceptacja
• laboratoria zewnętrzne zastosują regułę z ILAC G8 dającą największą pewność ale i utrudniającą decyzje
• normy GPS zalecają zwykle regułę z ISO 14253-1

Reguła ISO 14253-1 dla ogólnych zastosowań przemysłowych jest jednak i tak wymagająca i może generować nadmierne, niekoniecznie uzasadnione koszty. Zdając sobie z tego sprawę komitet techniczny ISO opublikował jeszcze jeden dokument-przewodnik, mianowicie: ISO/TR 14253-6:2012. Geometrical product specifications (GPS) — Inspection by measurement of workpieces and measuring equipmentPart 6: Generalized decision rules for the acceptance and rejection of instruments and workpieces

Co ciekawe, przewodnik (nie ma statusu normy) nie jest w ogóle dystrybuowany przez PKN. Tym chętniej dla inspiracji przybliżę go poniżej.

Uogólnione reguły, o których mowa w podtytule wprowadzają elastyczne pasma ochronne dostosowane do indeksów zdolności procesu i pomiaru. Umożliwia to optymalizację kosztów błędnych decyzji ale także dostosowanie kosztów jakości. ISO/TR 14253-6 uwzględnia indeksy zdolności procesu i pomiaru w wyznaczaniu optymalnych pasm ochronnych, co pozwala na bardziej precyzyjne określenie ryzyka i dostosowanie reguł orzekania do konkretnych warunków produkcji. Dodatkowo wprowadzono

I tak odnajdziemy w nim dwa wskaźniki, które osobom z branży automotive czy innych, które stosują SPC (statystyczna kontrola procesu) wydadzą się znajome:

Process Capability Index (Cp): Mierzy zdolność procesu do wytwarzania produktów w granicach specyfikacji. Wskazuje, jak dobrze proces jest w stanie utrzymać wymagania jakościowe. Obliczany jest następująco:

Cp = (USL – LSL) / (6 × σ)

Measurement Capability Index (Cm): Określa zdolność systemu pomiarowego do rozróżniania między produktami zgodnymi a niezgodnymi. Wyższy indeks oznacza lepszą precyzję pomiarów. Wzór:

Cm = (USL – LSL) / (6 × U)

Pasmo ochronne według przewodnika może być zmienne, dostosowane do wartości Cp lub Cm i co najważniejsze – w porozumieniu z klientem, pod konkretne zastosowanie. Wynika z tego oczywista wada – proces jest jeszcze bardziej skomplikowany. Niemniej korzyści w określonych przypadkach mogą być znaczące.

Dokument ten, podobnie jak choćby UKAS LAB-48 zaleca potencjalne działania dla wyników, które znalazły się w strefie niepewności, np. powtórzenie pomiaru czy konsultacja z klientem.

Jakie jest ryzyko?

Zarówno ryzyko błędnej akceptacji jak i błędnego odrzucenia da się policzyć.

Jeśli wymiar tolerowany jest dwustronnie, prawdopodobieństwo ZGODNOŚCI wynosi:

Gdzie:

T_U– Górna tolerancja

T_L – Dolna tolerancja

u – niepewność standardowa (rozszerzona / k)

Jeśli tolerancja jednostronna odpowiednio dla tylko dolnej:

I dla tylko górnej:

Znając prawdopodobieństwo zgodności, łatwo obliczymy prawdopodobieństwo PFA – błędnej akceptacji jako 1-p_c

Dlaczego warto znać ryzyko?

Wyjaśnienia domaga się ostatnia kwestia: skoro wyniki w przedziale niepewności są odrzucane lub nie ma możliwości orzeczenia na ich podstawie, to po co liczyć i znać poziom ryzyka?

Ano po to, że podążając za postanowieniami ISO 14253-6 ale także i głównej części pierwszej, która mówi, że „tam gdzie nie ustalono inaczej, stosuje się regułę domyślną”, poziom ryzyka może być przedmiotem uzgodnienia między stronami, np. wytwórca-odbiorca. Gdy okaże się, że poziom ryzyka PFA jest większy niż zakładane 2,3 czy 5%, strony mogą ustalić czy zważywszy np. na istotność czy bezpieczeństwo poziom ten jest akceptowalny.

Podsumowanie

Rozumiecie już różnice między ILAC G8 a ISO 14253-1. Jak widzicie temat orzekania o zgodności łatwy nie jest. Nie tyle pod kątem obliczeń, co praktycznego wyboru metody dopasowanej do zastosowania. Naturalnym propagatorem wiedzy w tym zakresie są akredytowane (i te stosujące dobrą praktykę) laboratoria wzorcujące i badawcze, które według odpowiednich reguł stwierdzają zgodność bądź odrzucając Wasze obiekty.

Ja omawiam ten temat szeroko na szkoleniach zarówno z niepewności pomiaru (w pełni) jak i zarządzania wyposażeniem pomiarowym (na tyle, ile trzeba).

Bonus!

Dla subskrybentów newslettera jak zwykle prezent – przewodnik streszczający i porównujący ze sobą wszystkie omawiane reguły, do praktycznego wykorzystania. Tymczasem w strefie PREMIUM dostępna jest kolejna (już trzecia) aplikacja webowa – kalkulator do obliczania poziomu ryzyka. To właśnie z tego narzędzia pochodzą zrzuty zawarte we wpisie.

Aplikacja prosi o wprowadzenie danych wejściowych: wynik, przedział tolerancji, niepewność pomiaru. Użytkownik wybiera stosowną regułę i otrzymuje rezultat wraz z eleganckim wykresem. Jeśli nie interesuje Cię członkostwo PREMIUM a chciałbyś korzystać z kalkulatora w formie online lub excel – napisz.

Do następnego!