DoE-Happen #34 – Ist das jetzt ein Ausreißer oder nicht? – und was heißt hier „signifikant“?

Nachdem wir uns im letzten Blogbeitrag mit den Auswirkungen von Ausreißern durch abweichende Faktoreinstellungen im Versuchsplan beschäftigt haben, möchte ich Ihnen heute einige Kennzahlen und Diagramme vorstellen, die dabei helfen können, den Versuchsplan und die einzelnen Faktoreinstellungen vorab zu bewerten und während der Versuchsplanung zu überwachen.

Abweichungen in der Faktoren- und Zielgrößenebene können einem Versuchsplaner das Leben durchaus erschweren. Diese Thematik haben wir in einem früheren Blog bereits angesprochen, aber für neue Leser möchte ich die wesentlichen Informationen hier noch einmal kurz tabellarisch zusammenfassen. Bevor wir uns den Kennzahlen und Diagrammen widmen, die uns helfen, diese Situationen besser einzuschätzen, werfen wir einen Blick auf die verschiedenen Kombinationen von Ausreißern und deren mögliche Auswirkungen:

Erfreulicherweise gibt es eine Vielzahl von Möglichkeiten in Form von Diagrammen und Kennzahlen, die uns helfen können, die Ausreißer-Situation besser einzuschätzen. Vorweg möchte ich jedoch erwähnen, dass meist nur massive Ausreißer ein echtes Problem darstellen. Leichte Fluktuationen in der Faktorebene, bei denen auch die korrespondierenden Zielwerte gemessen werden, können über die Versuchssoftware gut kompensiert werden.

Die meisten Softwarepakete berechnen zwar die multiple Regression auf zwei Leveln, verwenden dabei jedoch die Methode der kleinsten Quadrate sowie eine Vielzahl statistischer Zusatztests, um sicherzustellen, dass signifikante, also eindeutige Ausreißer erkannt werden. Durch diese Methoden können wir dann zwischen wirklichen „Signifikanten“ und moderaten Ausreißern unterscheiden. Die moderaten Ausreißer sind oft unproblematisch und beeinträchtigen die Validität des Modells nur geringfügig, während echte Ausreißer eine detaillierte Untersuchung und eventuell Anpassungen im Design erfordern.

Die verschiedenen Plots und Kennzahlen ermöglichen es Ihnen, die Effekte von Abweichungen in den Faktoreinstellungen und Zielgrößen präzise zu analysieren und fundierte Entscheidungen darüber zu treffen, ob diese Abweichungen das Modell ernsthaft beeinflussen oder tolerierbar sind.

Im voranstehenden Diagramm habe ich einige Diagramme und Kennzahlen zusammengestellt, die Ihnen helfen können, Ausreißer zu identifizieren und besser einzuschätzen. Diese Kennzahlen und Diagramme werden wir in den folgenden Blogs genauer beleuchten. In diesem Blog möchte ich Ihnen eine Übersicht aus der Software Modde präsentieren, die Ihnen Zuversicht geben kann, zwischen moderaten, also handhabbaren Ausreißern, und signifikanten Ausreißern zu unterscheiden.

Stellen wir uns vor, wir haben eine Versuchsplanung mit vier Faktoren und mehreren Zielgrößen, wobei wir uns eine davon genauer ansehen wollen. Für unsere Betrachtung spielen die Details des Versuchsplans und der Faktoren erst einmal keine Rolle. Stattdessen fokussieren wir uns darauf, wie sich eine Versuchsplanung mit und ohne starke Ausreißer darstellt.

Nehmen wir weiter an, dass wir die Modellierung bereits so gut wie möglich abgeschlossen haben. Jetzt wollen wir den Unterschied analysieren – also die Auswirkungen eines Ausreißers auf das Modell und dessen Vorhersagen. Diese Betrachtung zeigt uns, wie empfindlich unser Modell auf Datenfehler reagiert und wie sich die Modellqualität in Abwesenheit solcher Fehler verhält.

Um von einem sehr guten Modell ein schlechtes mit Ausreißer unterscheiden zu können möchte Ich Ihnen vorab gerne die Details des Übersichts-Plots vorstellen. (Software Modde)

Oben Links Replicate-Plot „Wiederholbarkeit“:

Dieser Plot berechnet nichts, sondern stellt die Ergebnisse der Experimente einfach nebeneinander dar. Er hilft uns dabei, einzuschätzen, wie stark die Zielgrößen aufgrund der systematischen Variation der Faktoren streuen. Besonders wichtig sind hier die sogenannten Replikate – in unserem Fall die blauen Zentralpunkte. Diese zeigen, wie gut ein Experiment wiederholbar ist. Wenn die Ergebnisse dieser Replikate stark streuen, deutet das darauf hin, dass auch die anderen Experimente in ihren Zielgrößen schwanken könnten, was die Modellierung und Vorhersagen weniger zuverlässig macht. Somit haben Sie schon mal eine erste Vorstellung, wie Sie die Experimente in Bezug auf Ausreißer einschätzen können – und das ganz ohne komplizierte Berechnungen.

Oben Mitte „Modell Summary“:

Mit diesem Diagramm können wir das Modell bewerten, denn die Qualität des Modells ist entscheidend dafür, ob wir mögliche Ausreißer zuverlässig erkennen können. Nur ein gutes Modell kann genaue Prognosen mit einem geringen Schätzfehler liefern. Das bedeutet im Umkehrschluss: Sehr gute Modelle enthalten in der Regel keine groben Ausreißer. Bei schlechten Modellen hingegen ist der Prognosefehler höher, was die Wahrscheinlichkeit erhöht, Ausreißer zu übersehen. Auffällige Abweichungen, wie sie oft durch Copy/Paste-Fehler oder Tippfehler entstehen, werden jedoch in der Regel sicher erkannt.

Die vier Balken im Diagramm sind normiert und geben folgende komprimierte Informationen wieder:

• R² (grüner Balken): Zeigt, wie gut das Modell die Daten beschreibt. Ein hoher Wert bedeutet eine gute Anpassung des Modells an die Daten.
• Q² (blauer Balken): Gibt an, wie gut das Modell Vorhersagen trifft. Ein niedriger Wert weist darauf hin, dass das Modell die Variation der Daten nur schlecht vorhersagen kann.
• Validity (gelber Balken): Gibt Hinweise darauf, wie viel der Datenvariation nicht durch das Modell erfasst wird. Ein niedriger Wert deutet auf ein schlechtes Modell hin.
• Reproducibility (türkiser Balken): Zeigt, wie gut die Ergebnisse reproduzierbar sind, also wie stabil die Ergebnisse in verschiedenen Durchläufen sind. Hier ist übrigens schon ein Schulterschluss zum Replikate Plot vorhanden.

Oben rechts Koeffizienten-Plot:

Dieser Plot zeigt die Effekte der einzelnen Faktoren auf die Zielgröße, sodass Sie die Auswirkungen der Faktoren direkt miteinander vergleichen können. Die Balken stellen die Effekte dar: Ein Balken, der nach oben zeigt, bedeutet, dass ein höherer Faktorwert zu einer höheren Zielgröße führt. Zeigt der Balken nach unten, sinkt die Zielgröße bei einem höheren Faktorwert.

Die schwarzen „Whisker“-Linien (dünne Linien an den Balken) deuten auf Unsicherheiten in der Modellierung hin. Wenn diese Linien größer werden, ist das Modell weniger präzise, was durch mögliche Ausreißer verursacht werden kann. Wenn die Whisker die horizontale „0“-Linie überschreiten, ist es unklar, ob der Faktor die Zielgröße verstärkt oder abschwächt. Dies könnte auf Ungereimtheiten im Versuchsplan oder auf Schwächen im Modell hindeuten.

Dieser Plot hilft Ihnen somit indirekt, die Datenqualität und Konsistenz zu überprüfen und mögliche Ausreißer zu identifizieren.

N-Wahrscheinlichkeits-Plot unten links:

Die Residuen, also die Differenz zwischen den beobachteten Werten und den Vorhersagen, werden in diesem Plot als Wahrscheinlichkeit über der Summe der Standardabweichungen dargestellt. Dadurch lassen sich systematische Ausreißer gut erkennen. Wenn Sie Daten im unteren linken oder oberen rechten Bereich außerhalb der roten Linien (4 Standardabweichungen) sehen, handelt es sich um potenzielle Ausreißer. Bei einem sehr guten Modell (alle Balken im Summary Plot sind hoch) kann es sich um einen moderaten Ausreißer handeln. Ist das Modell jedoch eher schlecht, sollten Sie von einem starken Ausreißer ausgehen.

Es kann sogar passieren, dass Ihr Modell deutlich besser wird, wenn Sie einen solchen Ausreißer entfernen. Im Hinterkopf sollten Sie jedoch behalten, dass dies das Modell „schönrechnen“ könnte. Der ausgeschlossene Versuch sollte in jedem Fall, wenn möglich, wiederholt werden, um sicherzustellen, dass Ihr Modell auch wirklich valide ist.

Histogramm unten Mitte:

Ein Histogramm ist eines der schnellsten Werkzeuge, um potenzielle Ausreißer zu entdecken. Es zeigt, wie Ihre Daten verteilt sind. Idealerweise sehen wir eine schöne, glockenförmige Kurve – die klassische Normalverteilung. Alles, was davon stark abweicht, könnte ein Hinweis auf Ausreißer, nicht Linearitäten oder unerwartete Störungen im Experiment sein.

Achten Sie besonders auf ungewöhnliche Spitzen oder asymmetrische Verteilungen, die darauf hinweisen, dass etwas im Experiment nicht ganz sauber lief. Diese Ausreißer können Ihre Ergebnisse erheblich verzerren. Natürlich kann man aus einem Histogramm noch viel mehr herauslesen – aber dazu ein anderes Mal.

Beobachtung über Vorhersage unten rechts:

Das Beobachtung vs. Vorhersage-Diagramm ist wie ein Reality-Check für Ihr Modell. Hier wird gezeigt, wie gut Ihre Vorhersagen mit den tatsächlichen Beobachtungen übereinstimmen. Idealerweise liegen die Punkte schön nah an der Diagonalen wie Perlen auf einer Kette – das bedeutet, dass Ihr Modell gut die Beobachtung wieder geben kann.

Weichen die Punkte jedoch stark von der Linie ab, dann haben Sie möglicherweise ein Problem. Diese Abweichungen können auf Ausreißer hinweisen, die das Modell verzerren. Je weiter ein Punkt von der Linie entfernt ist, desto größer ist die Diskrepanz zwischen dem, was Sie erwartet haben, und dem, was wirklich passiert ist. Das sollte immer Alarmzeichen sein und ein Grund genauer hinzuschauen.

Nun, nachdem wir die verschiedenen Plots kennengelernt haben, wird uns ganz sicher auffallen, wenn etwas nicht stimmt – so wie im folgenden Beispiel. Ich habe bewusst einen Tippfehler in den Daten eingebaut: Bei Versuch 4 habe ich einen Zahlendreher verwendet. Und wie Sie gleich sehen werden, verändert sich dadurch alles!

Die Veränderungen sind:

• Im Replikat-Plot ist plötzlich Versuch 4 dominierend weit oben angesiedelt. Der Fehler sticht sofort ins Auge.
• Das Modell hat sich von „sehr gut“ zu „sehr schlecht“ verändert und ist nicht mehr signifikant. Ein klarer Hinweis, dass etwas nicht stimmt.
• Der Koeffizienten-Plot zeigt, dass die Effekte nicht mehr signifikant sind, was darauf hindeutet, dass der Fehler das Modell stark beeinflusst.
• Der Residual-N-Plot wirkt gestaucht, und Experiment Nr. 4 liegt weit außerhalb der 4-Sigma-Zone, was sofort auffällt.
• Das Histogramm hat sich ebenfalls verändert, aber allein hieraus wäre man vermutlich nicht misstrauisch geworden. Erst in Verbindung mit den anderen Plots wird die Anomalie deutlich.
• Im Beobachtet-über-Vorhergesagt-Plot fällt Experiment 4 stark aus der Reihe und zeigt eine deutliche Abweichung – es springt förmlich ins Auge.

Ein kleiner Tippfehler, aber die Folgen sind eindeutig: Das ganze Modell gerät ins Wanken.

Ich hoffe Ich konnte Ihnen etwas die Bedenken gegenüber zukünftig übersehenen Ausreißern in Ihren Modellen nehmen. Natürlich werden diese Effekte bei kleinen moderaten Abweichungen viel weniger ins Gewicht fallen und brauchen ein geschultes Auge.

Sollten Sie Fragen zu Ihrer Versuchsplanung haben oder bei einigen Punkten unsicher sein, dann ist jetzt genau der richtige Moment, um mich zu kontaktieren. Ich freue mich immer, von Lesern zu hören, die meine Begeisterung für DoE (Design of Experiments) teilen. Was ursprünglich als Ziel begann, meinen Studenten den Zugang zu DoE zu erleichtern, hat sich längst zu einer echten Leidenschaft entwickelt – eine Leidenschaft, die ich gerne mit Ihnen und allen Interessierten teile.

Wenn Ihnen dieser Beitrag gefallen hat, freue ich mich, wenn Sie ihn teilen und liken – denn Wissen ist die einzige Ressource, die durch Teilen nicht weniger wird, sondern mit jedem Klick weiter wächst.

Bis zum nächsten Mal,

Ihr DoE-Experte

Stefan Moser