Versuchsplanung Literatur Ledolter, Burrill, Statistical Quality Control: Kap.14: Principles of Effective Experimental Design; Kap.15: Principles of Effective Experimental Design; Kap.16: Taguchi Design Methods for Product and Process Improvement. Bergman, Klefsjö, Quality: Kap.7: Design of Experiments; Kap.8: Robust Design. Experiment Möglichkeit, Wissen über die uns interessierenden Prozesse zu erwerben, etwa um Verbesserungspotentiale zu identifizieren Entscheidung darüber, welche von mehreren in Frage kommenden Erklärungen für ein Qualitätsproblem zutrifft Systematische Methode, Information über das Wirken und Zusammen-wirken von (Prozess-)faktoren zu sammeln 3.11.2004 Versuchsplanung 2 Lernprozesse: Beispiele Kundenbefragung zeigt Notwendigkeit einer Änderung des Bestellprozesses, Bedarf an Schulung der Mitarbeiter, etc. Annahmekontrolle gibt Hinweise auf Mängel in der Produktion eines Lieferanten Prozesskontrolle hilft, special causes der Variation zu identifizieren 3.11.2004 Versuchsplanung 3 Versuchsplanung Prinzipien und Regeln, nach denen Experimente, d.i. das aktive Sammeln von Information, gestaltet werden damit sie die notwendigen Informationen bei effizientem Einsatz der Ressourcen liefern „… a well-planned experiment increases the precision of the results 10- to 12-fold for the same cost …“ (R.A. Fisher) 3.11.2004 Versuchsplanung 4 Experimente - Fragestellungen Material A oder Material B? Verfahren mit bestem Output? Ertrag verbessern? (Kombination von Temperatur und Druck) Stahl einer bestimmten Härte (Erzqualität, Zusätze, Temperatur, Abkühlgeschwindigkeit, etc.) Produktionsprozess: Zielwert, geringste Variation? (Welche Kombination der Input-Faktoren?) 3.11.2004 Versuchsplanung 5 Dauerhaftigkeit von Sohlen 20 Studierende, Material der Sohle: A, B Plan 1: Je 10 Studierende tragen Schuhe mit A und B; A und B werden zufällig zugeordnet (vollständig randomisiertes Experiment) Plan 2: Jeder Studierende trägt je einen Schuh mit A und B; A wird zufällig am linken oder rechten Schuh getragen (randomisiertes Block-Experiment) 3.11.2004 Versuchsplanung 6 Ertrag eines chem. Prozesses hängt ab von Temperatur (500o, 600o) Druck (60kg/cm2, 80kg/cm2) Katalysator (A, B) 8 Faktorkombinationen je Kombination ein Durchlauf des Experiments (eine Wiederholung) Randomisierung der Reihenfolge! 3.11.2004 Versuchsplanung 7 Aushärtezeit von Gips Variabilität soll kontrolliert werden Große Zahl von potentiellen Einflussfaktoren z.B.: die Wirkung der Kalzinierung (Ausglühen der Mischung von Gipskörnern und Zitronensäure) hängt vermutlich ab von Menge, Temperatur und Säurekonzentration 3.11.2004 Versuchsplanung 8 Experimente: Wichtige Themen Ziele eines Experiments Verallgemeinerbarkeit Response-Variable Faktoren 3.11.2004 Versuchsplanung 9 Ziele eines Experiments Vergleich zweier Methoden (z.B.: Material von Schuhsohlen) Optimierung des Ertrages (Ertrag eines chemischen Prozesses) Minimieren der Variabilität der ResponseVariablen (Aushärtezeit von Gips) Adjustieren der Response-Variablen nahe dem Zielwert 3.11.2004 Versuchsplanung 10 Verallgemeinerbarkeit Gültigkeit eines Experiments ist beschränkt auf Bedingungen des Experiments (Faktorwerte, regional, etc.) Achtung! Off-line Experiment vs. online Produktion 3.11.2004 Versuchsplanung 11 Response-Variable univariat (z.B. Ertrag) oder multivariat (z.B. Ertrag, Reinheit) quantitativ (z.B. Menge) oder qualitativ (z.B. Geschmack, Qualität) 3.11.2004 Versuchsplanung 12 Faktoren interessierende (primäre) Faktoren nicht interessierende (sekundäre) Faktoren Blocken ist gute Strategie, den Effekt von sekundären Faktoren zu eliminieren 3.11.2004 Versuchsplanung 13 Beispiel: Kugelschreiber Ausschussquote hängt ab von Qualität der Tinte (A oder B) Tag der Produktion? Nicht geblockt: Do, Fr: 1.5% (A), Sa, So: 5.8% (B) Blocken hilft gegen Vermengen Do B A B A B B A A A B Fr B B A B B A A B A A Sa A A A B B B A B B A So B A A B B A A B A B 3.11.2004 Versuchsplanung 14 Statistische Prinzipien Verwenden des Blockdesigns Block: Teilmenge der UE, die ähnliche Bedingungen hinsichtlich eines sekundären Faktors aufweist Randomisieren: Zufälliges Zuordnen der UE zu den Behandlungen Eliminiert die Wirkung nicht kontrollierbarer Faktoren "Blocke alles, was zu blocken ist, und randomisiere, was nicht zu blocken ist" 3.11.2004 Versuchsplanung 15 Statistische Prinzipien, Forts. Beachte Wechselwirkung von Faktoren Vermeide change-one-factor-at-a-time Vorgangsweise Strategie des Experimentierens Kleine Schritte, sequentielle Vorgangsweise „Beste Zeit, ein Experiment zu planen, ist nach dem Experiment“ 25%-Regel (Box, Hunter & Hunter) 3.11.2004 Versuchsplanung 16 Begriffe Durchlauf des Experiments Behandlung der UE: Faktorkombination Wiederholung 3.11.2004 Versuchsplanung 17 Vergleich von Mittelwerten Beispiel: Bruchlast von Bleistiftminen Marke A: nA = 6, x-barA = 45.8, sA = 4.31 Marke B: nB = 6, x-barB = 39.5, sB = 4.59 Vergleich: x-barA x-barB = 45.8 39.5 = 6.3 unabhängige Stichproben, vollständig randomisiertes Experiment 3.11.2004 Versuchsplanung 18 Statistische Signifikanz Merkmal X Population i (i=1,2): Xi, E(Xi) = mi, SD(Xi) = si; Stichprobe: ni, x-bari, X-bari N(mi, si2/ni) Differenz: d = X-bar1 X-bar2 N(md, sd2) mit md = m1 m2 und sd = √[s12/n1 + s22/n2] 3.11.2004 Versuchsplanung 19 Bruchlast, Forts. sd = √[4.312/6 + 4.592/6] = 2.57 Test von H0: m1 = m2 gegen H1: m1 ≠ m2 p-Wert = 2*P{Z > 6.3/2.57} = 0.0143 H0 wird verworfen Ist der Unterschied von praktischer Relevanz? 3.11.2004 Versuchsplanung 20 Vergleich von Schuhsohlen Material A: nA = 20, x-barA = 5.13, sA = 2.03 Material B: nB = 20, x-barB = 5.40, sB = 1.94 Vergleich: x-barA x-barB = 5.13 5.40 = - 0.27 sd = √[(2.032 + 1.942)/20] = 0.628 p-Wert = 2*P{Z < -0.27/0.628} = 0.628; H0 wird nicht verworfen 3.11.2004 Versuchsplanung 21 Vergleich von Schuhsohlen Randomisiertes Block-Experiment: Jeder Studierende trägt je einen Schuh mit A und B Response-Variable: Differenz d = xA xB d1, ..., d20; d-bar = -0.27; sd = 0.298 SD(d-bar) = sd/n = 0.067 p-Wert = 2*P{Z < -0.27/0.067} = 0.00005; H0 wird verworfen! 3.11.2004 Versuchsplanung 22 Faktorielle Experimente Die Response hängt von mehr als einem Faktor ab Bei einem (2-stufigen) faktoriellen Experiment interessieren bei jedem Faktor zwei Werte (Niveaus) Beispiel: Ertrag eines chem. Prozesses Temperatur (1100, 1300) Reaktionszeit (50 min, 70 min) 3.11.2004 Versuchsplanung 23 Ertrag eines chem. Prozesses Ertrag 3.11.2004 Temp. R.Zeit DS Lf 1 Lf 2 110o 50min 55.0 55.5 54.5 130o 50min 60.6 60.2 61.0 110o 70min 64.2 64.5 63.9 130o 70min 68.2 67.7 68.7 Versuchsplanung 24 Ertrag eines chem. Prozesses Ertrag T R DS Lf 1 Lf 2 - 55.0 55.5 54.5 + - 60.6 60.2 61.0 - + 64.2 64.5 63.9 + + 68.2 67.7 68.7 - 3.11.2004 Versuchsplanung 25 Notation 2k-faktorielles Experiment: 2-stufiges Experiment in k Faktoren Tabellierung (standard form): Jede Spalte entspricht einem Faktor Jede Zeile entspricht einer Faktorkombination (einem Durchlauf) 3.11.2004 Versuchsplanung Faktor 1 2 3 … - - - … + - - … - + - … + + - … - - + … + - + … - + + … + + + … 26 Analyse der Ergebnisse graphische Darstellung Schätzen der Effekte der Faktoren (Haupteffekte): Effekt einer Änderung der Temperatur von 110o auf 130o T = (60.6 + 68.2)/2 (55.0 + 64.2)/2 = 64.4 59.6 = 4.8 = ( 55.0 + 60.6 64.2 + 68.2)/2 R = (64.2 + 68.2)/2 (55.0 + 60.6)/2 = 66.2 57.8 = 8.4 = ( 55.0 60.6 + 64.2 + 68.2)/2 3.11.2004 Versuchsplanung 27 Wechselwirkung graphische Darstellung Effekt der Temperatur hängt vom Niveau der Reaktionszeit ab TxR = (68.2 64.2)/2 (60.6 55.0)/2 = 0.8 = (+55.0 60.6 64.2 + 68.2)/2 3.11.2004 Versuchsplanung 28 23 faktorielles Experiment Ertrag eines chemischen Prozesses interessierende Faktoren: Temperatur (T; : 160o, +: 180o) Konzentration (C; : 20 %, +: 40 %) Katalysator (K; : Typ A, +: Typ B) 3.11.2004 Versuchsplanung 29 23 faktorielles Experiment, Fts. Haupteffekte T = (72+68+83+80)/4 (60+54 +52+45)/4 = 75.75 52.75 = 23.0 = (60+7254+6852+8345+80)/4 C = 5.0 K = 1.5 3.11.2004 Versuchsplanung 30 23 faktorielles Experiment, Fts. 2-Faktoren Wechselwirkungen T(K:+) = (80+83)/2 (52+45)/2 = 81.5 48.5 = 33.0 T(K:) = (72+68)/2 (60+54)/2 = 70.0 57.0 = 13.0 TxK = (33 13)/2 = 10.0 = (+6072+546852+8345+80)/4 Analog TxC = 1.5, KxC =0.0 3.11.2004 Versuchsplanung 31 23 faktorielles Experiment, Fts. 3-Faktoren Wechselwirkung TxKxC: TxK(C:+) = (8045)/2 (6854)/2= 10.5 TxK(C:) = (8352)/2 (7260)/2= 9.5 TxKxC = (10.5 9.5)/2 = 0.5 = (60+72+5468+528345+80)/4 3.11.2004 Versuchsplanung 32 Statistische Signifikanz der geschätzten Effekte Experiment ohne Wiederholungen: Graphische Darstellungen Punkt-Diagramm QQ-Plot (normal probability plot) Experiment mit Wiederholungen: Schätzer für s, Berechnung von Konfidenzintervallen 3.11.2004 Versuchsplanung 33 Q-Q Plot Zu einem Datensatz soll überprüft werden, ob die Daten von einem normalverteilten Merkmal stammen Q-Q Plot oder Quantil-Quantil Plot, auch normal probability plot 3.11.2004 Versuchsplanung 34 Ermitteln des Q-Q Plots 1. 2. 3. 4. 5. 6. 7. Stichprobe x1,…,xn Sortiere die Beobachtungen aufsteigend Bestimme die Rangzahlen Bestimme die Ordnung i /(n +1) [oder (i -0.5)/n], die sich für die Beobachtung mit Rang i ergibt, wenn wir sie als (empirisches) Quantil auffassen Bestimme zur Ordnung i /(n +1) das (erwartete) Quantil der Standard-Normalverteilung (Normal Score) Bestimme zur Ordnung i /(n +1) das (erwartete) Quantil der Normalverteilung mit Parametern Streudiagramm (Normal Scores über X) 3.11.2004 Versuchsplanung 35 Konfidenzintervall für Effekte si: Schätzer aus Beobachtungen im iten von n Läufen eines 2k-faktoriellen Experiments (i=1,…, 2k) sp: Schätzer aus "gepoolten" Daten sp = [S(si)2/2k] 95%-iges Konfidenzintervall für T T - (2)SD(T), T + (2)SD(T) mit SD(T) = sp/[(n)2k-2] 3.11.2004 Versuchsplanung 36 Ertrag eines chem. Prozesses i T R 1 - DS Lf 1 Lf 2 si - 55.0 55.5 54.5 √0.50 2 + - 60.6 60.2 61.0 √0.32 3 - + 64.2 64.5 63.9 √0.18 4 + + 68.2 67.7 68.7 √0.50 sp = √[(0.50+…+0.50)/4] = 0.61 SD = 0.61 /√[(2)22-2] = 0.44 3.11.2004 Versuchsplanung 37 Ertrag eines chem. Prozesses, Fts. 95%-iges Konfidenzintervall für TxR -0.8 ± 2(0.44), (-1.68, 0.08) 95%-iges Konfidenzintervall für T 4.8 ± 2(0.44), (3.9, 5.7) 95%-iges Konfidenzintervall für R 8.4 ± 2(0.44), (7.5, 9.3) 3.11.2004 Versuchsplanung 38 Suppenwürze "Intermix" Beigefügte Menge soll möglichst gleichmäßig sein. Faktoren Zahl der ports (P; : 1, +: 3) Temperatur (T; : Zimmertemperatur, +: gekühlt) Chargen-Gewicht (W; : 1500 lb, +: 2000 lb) Zeit bis zum Abpacken (D; : 1 Tag, +: 7 Tage) 3.11.2004 Versuchsplanung 39 Fraktionale faktorielle Experimente Reduktion der Zahl der notwendigen Läufe durch Verzicht auf Schätzen der Wechselwirkungen Beispiel 1: 23-1 fraktionales faktorielles Experiment mit drei Faktoren A, B und C (C = AxB) 3.11.2004 Versuchsplanung A B C - - + + - - - + - + + + 40 Beispiel 2: 27-4 Experiment Kommt mit 8 Läufen aus (27 = 128!) A B C D=AB E=AC F=BC G=ABC - - - + + + - + - - - - + + - + - - + - + + + - + - - - - - + + - - + + - + - + - - - + + - - + - + + + + + + + 3.11.2004 Versuchsplanung 41 Confounding (Vermengen) Preis für Reduktion der Anzahl der Läufe: Es können nicht mehr alle Effekte und Wechselwirkungen unabhängig voneinander geschätzt werden Beispiel 1: Letzte Spalte entspricht C und AxB; der sich ergebende (confounded) Schätzer vermengt die beiden Beispiel 2: Spalte 4 entspricht Faktor D und Wechselwirkung AxB, …, Spalte 7 entspricht Faktor G und Wechselwirkung AxBxC 3.11.2004 Versuchsplanung 42 Suppenwürze "Intermix„, Fts. 25-1 fraktionales faktorielles Experiment mit fünf Faktoren P, T, W, D und Mischdauer (M; : 60 sec, +:80 sec) Schätzer von M: vermengt mit Wechselwirkung PxTxWxD Beachte: vermengt sind auch P und TxWxDxM, PxT und WxDxM, PxTxW und DxM, etc. 3.11.2004 Versuchsplanung 43 Genichi Taguchi Japanischer Ingenieur; Pionier in der Anwendung von Versuchsplanung zur Verbesserung von Produkten und Prozessen; entwickelt Philosophie der Qualitätsverbesserung Methode der Versuchsplanung Deming-Preisträger Taguchi’s Methoden seit ca. 1980 auch in den USA sehr populär 3.11.2004 Versuchsplanung 44 Taguchi's Impulse Bücher, seit ca. 1980 auf Englisch Taguchi & Wu (1985), Introduction to Off- Line Quality Control. Taguchi (1986) Introduction to Quality Engineering: Designing Quality into Products and Processes. Konzepte Qualitätskosten Robuste Produkte und Prozesse 3.11.2004 Versuchsplanung 45 Qualitätskosten Verlust durch Abweichung von idealem Produkt/Prozess höherer Aufwand für Gewährleistung geringere Kundenzufriedenheit schlechteres Image high quality Produkt: geringe Abweichung vom Zielwert während der gesamten Lebensdauer unter beliebigen Bedingungen der Verwendung 3.11.2004 Versuchsplanung 46 Verlustfunktion enthält Kosten (pro Einheit) des Produzenten und Konsumenten L(y) = A(y-t)2/D2 A: erwartete Kosten bei Abweichung D vom Zielwert t Bei Kosten B für Ausschuss: maximal tolerierte Abweichung d = D [B/A] 3.11.2004 Versuchsplanung 47 Robuste Produkte und Prozesse Effekte von ungünstigen Faktoren während der Produktion und während des Gebrauchs minimiert Produkt wird beschrieben in Produkt-Charakteristika: Variable, die das Produkt am Markt positionieren Qualitäts-Charakteristika: Variable, in denen Abweichungen vom idealen Produkt auftreten 3.11.2004 Versuchsplanung 48 Negative Faktoren Äußere Störungen (Umgebung während der Verwendung; Temperatur-, Spannungsschwankungen, etc.) Innere Störungen (innerhalb des Produktes; Abnutzung, etc.) Variationen der Produktion (Vorprodukte, Kompetenz der Mitarbeiter, Qualität der Ausrüstung, etc.) 3.11.2004 Versuchsplanung 49 Reduktion der Variabilität des Produktes und des Produktionsprozesses durch Verbesserung des Designs des Produktes und Verbesserung des Designs des Produktionsprozesses 3.11.2004 Versuchsplanung 50 Taguchi’s Designmethode Für Experimente (orthogonale Versuchspläne) Analyse der Variation der Responsevariablen Produkt Design Prozess System Design Parameter Design Toleranz Design 3.11.2004 Versuchsplanung 51 System Design Entwurf des Produktes entsprechend den Anforderungen der Konsumenten den Möglichkeiten der Produktion Ergebnis ist ein Prototyp; Identifizierung möglicher Störfaktoren in Produktion und Verwendung kontrollierte Faktoren („Parameter“) nicht kontrolliert Faktoren (noise) 3.11.2004 Versuchsplanung 52 Parameter Design Festlegung jener Zielwerte der kontrollierten Faktoren, bei denen die Variabilität minimal ist; Experimente Behandlung von noise: Behandlung als kontrollierter Faktor, wenn Ursache für Fehler Wahl der Werte der kontrollierten Faktoren so, dass Effekt des noise minimiert; Robustifizieren des Produktes! 3.11.2004 Versuchsplanung 53 Parameter Design, Forts. Aufgabe des Design Prozesses ist die Festlegung, welche Faktoren kontrolliert werden sollen und welche nicht, die Festlegung der Werte der Faktoren so, dass der Effekt des noise minimiert wird 3.11.2004 Versuchsplanung 54 Toleranz Design Festlegung von reduzierten Toleranzbereichen für die einzelnen Faktoren, um die Variabilität des Produktes zu verkleinern höherer Aufwand teurere Maschinen etc. 3.11.2004 Versuchsplanung 55 Versuchsplan inner array: Versuchsplan für die kontrollierten Faktoren; deckt relevanten Wertebereich ab (zwei bis vier Niveaus) outer array: Versuchsplan für ausgewählte noise Faktoren orthogonale Versuchspläne (faktorielle Designs, fraktional faktorielle Designs, Lateinische Quadrate Design) 3.11.2004 Versuchsplanung 56 Ziel des Versuchs Kombination von Faktorenwerten so, dass der Produktionsprozess ein Produkt liefert nahe dem gewünschten Output mit minimaler Variation oder maximalem signal-to-noise Verhältnis 3.11.2004 Versuchsplanung 57 signal-to-noise Verhältnis SNsmall, wenn y möglichst klein sein soll SNsmall = -10 log10 [Syi2/n] SNlarge, wenn y möglichst groß sein soll SNlarge = -10 log10 [S(1/yi)2/n] SNtarget, wenn y möglichst nahe einem Zielwert sein soll SNtarget = 10 log10 [y-bar2/s2 – 1/n] oder SNtarget = 10 log10 [y-bar2/s2] 3.11.2004 Versuchsplanung 58 Kritik an Taguchi Versuchspläne der vorgeschlagenen Experimente sind oft nicht effizient Interpretation der signal-to-noise Verhältnisse oft schwierig 3.11.2004 Versuchsplanung 59