DoE-Happen #33 – Ist das jetzt ein Ausreißer oder nicht? – und was heißt hier „signifikant“?

in dieser Blog-Unter-Serie möchte ich das Thema Ausreißer und ihre Bedeutung genauer beleuchten. Ausreißer werden oft sowohl unterschätzt als auch überschätzt, was zu völlig unterschiedlichen Interpretationen führen kann.

Nachdem wir uns im letzten Blog mit Ausreißern bei den Faktoren beschäftigt haben, möchte ich in diesem Beitrag etwas detaillierter auf das Thema eingehen und die Frage klären, was zu tun ist, wenn solche Ausreißer identifiziert werden.

Dies ist besonders wichtig, weil Verzerrungen im Versuchsraum dazu führen können, dass die Ergebnisse falsch interpretiert werden. Solche Abweichungen können die Genauigkeit und Aussagekraft der Analyse erheblich beeinträchtigen.

Im letzten Blogbeitrag haben wir bereits besprochen, was passiert, wenn ein Experiment nicht an der vorgesehenen Stelle im Designraum durchgeführt wird. Grundsätzlich sollten die Experimente in ihren Faktoreinstellungen idealerweise im rechten Winkel zueinanderstehen. Dies stellt sicher, dass die Effekte der einzelnen Faktoren unabhängig voneinander sind und sich nicht gegenseitig beeinflussen.

Wenn jedoch ein Experiment an einer anderen Stelle als ursprünglich geplant durchgeführt wird (wie durch das orange markierte Experiment im Design veranschaulicht), entsteht eine Verzerrung des Untersuchungsraums. Diese Verzerrung sorgt dafür, dass die Experimente nicht mehr im rechten Winkel zueinanderstehen, wodurch die Unabhängigkeitsanalyse der Effekte beeinträchtigt wird.

Stellen Sie sich das so vor: Wenn zwei Vektoren – das sind vereinfacht gesagt gerichtete Linien – im rechten Winkel zueinanderstehen (wie im linken Bild), bleibt die Veränderung eines Vektors ohne Einfluss auf den anderen. Das ist ideal für die Versuchsplanung, da es bedeutet, dass wir den Effekt jedes Faktors unabhängig voneinander betrachten können. Wird ein Experiment jedoch an einer abweichenden Stelle durchgeführt, ändert sich der Winkel zwischen den Vektoren (wie im rechten Bild).

Solange dieser Winkel 90° beträgt, hat der betreffende Faktor keinen Einfluss auf die Ergebnisse. Verändert sich jedoch der Winkel, beginnt der Faktor, die Effekte anderer Faktoren zu beeinflussen. Dadurch wird die Unabhängigkeit der Effekte aufgehoben. Dies kann zu Verzerrungen führen, die die Ergebnisse des Experiments verfälschen und verhindern, dass die tatsächlichen Effekte der Faktoren korrekt abgebildet werden.

Und kleinere Abweichungen?

Kleinere Abweichungen können durch Regressionsmethoden oft ausgeglichen und kompensiert werden. Wenn die Abweichungen jedoch zu groß werden, wird der Versuchsraum so stark verzerrt, dass die Genauigkeit der Vorhersagen erheblich leidet und die Prognosen stark variieren.

Einfach ausgedrückt: Je weiter die Experimente von der ursprünglichen Planung abweichen, desto mehr verlieren die Ergebnisse ihre Aussagekraft, weil die Effekte der einzelnen Faktoren nicht mehr klar voneinander getrennt werden können. Dabei spielen zwei wesentliche Faktoren eine Rolle:

1. Verletzung der Skalierung: Wenn der skalierte Raum verlassen wird (mit Versuchen auf den zwei Ebenen -1 und 1), können die Effekte der Faktoren nicht mehr sinnvoll miteinander verglichen werden. Die Skalierung ermöglicht es, die Faktoren unabhängig von ihren ursprünglichen Einheiten zu betrachten, was die Interpretation erleichtert. Diese Einheiten unterscheiden sich oft stark und würden ohne Skalierung die Vergleichbarkeit und Interpretation der Effekte erschweren.

2. Verschiebung des Experiments: Die Verschiebung des Experiments erschwert die Berechnung der Effekte, da die Effekte der Faktoren nicht mehr unabhängig voneinander bestimmt werden können.

Der Zusammenhang zwischen den Faktoren wird in der Korrelationsmatrix sichtbar gemacht, die zeigt, wie stark die einzelnen Faktoren miteinander „korrelieren“ – genau das, was wir in der Versuchsplanung vermeiden wollen. Idealerweise sollten die Faktoren möglichst wenig miteinander korrelieren, um sicherzustellen, dass ihre Effekte unabhängig voneinander gemessen werden können.

Wissenschaftliche Konventionen klassifizieren Korrelationswerte oft als schwach, moderat oder stark. Beispielsweise werden Schwellenwerte, wie 0,1 für eine schwache, 0,3 für eine moderate und 0,5 für eine starke Korrelation verwendet. Diese Klassifikationen stammen aus der wissenschaftlichen Literatur und helfen dabei, die Stärke der Zusammenhänge zwischen den Faktoren zu bewerten und zu verstehen, wie diese die Interpretation der Ergebnisse beeinflussen können.

Was ist zu tun?

 

These: Abweichendes

Experiment ist interessant und bietet Möglichkeiten.

Ihr abweichendes Experiment liefert Ihnen möglicherweise wertvolle Hinweise, die Ihre Zieldefinition unterstützen. In diesem Fall könnte es sinnvoll sein, den Versuchsraum durch neue, orthogonal angeordnete Experimente zu erweitern, um diese neuen Erkenntnisse in Ihre Untersuchung einzubeziehen.

• Möglichkeit: Versuchsraum erweitern: Einige Softwarepakete, wie zum Beispiel Modde, bieten die Möglichkeit, das Modell neu zu skalieren und zusätzliche Experimente hinzuzufügen. Diese Funktion kann genutzt werden, um den Versuchsraum zu erweitern, wenn die neuen Erkenntnisse weiterhin zielführend erscheinen. Durch die Erweiterung des Designs mit orthogonal angeordneten Experimenten können Sie den zusätzlichen Bereich abdecken und die Effekte der Faktoren umfassender untersuchen.
• Hinweis zur Skalierung im Schema: Die Skalierung ist nicht immer auf den Bereich von -1 bis +1 beschränkt. Die Geometrie des Versuchsraums, die Anzahl der Faktoren und die Art des Designs (linear oder nichtlinear) spielen ebenfalls eine Rolle bei der Skalierung. Es ist wichtig, diese Aspekte bei der Erweiterung des Designs zu berücksichtigen, um die Aussagekraft der Ergebnisse zu maximieren.

These: Abweichendes Experiment bestätigt ursprünglich geplante Variation

Möglichkeit: Experimente wiederholen: Häufig wird viel Zeit in die sorgfältige Auswahl und Variation der Faktoren investiert, sodass ein Experiment mit erheblich abweichenden Faktoreinstellungen Bereiche betreffen könnte, die bewusst ausgeschlossen wurden. Wenn die ursprünglichen Faktoreinstellungen nicht wie vorgesehen umgesetzt werden konnten, haben Sie möglicherweise wertvolle Erkenntnisse darüber gewonnen, dass Ihre Einstellungsvorgaben nicht so robust sind wie angenommen. Zudem könnten Sie zusätzliche Störgrößen als Quellen unerwünschter Variation identifiziert haben.

Störgrößen: Diese Erkenntnisse können auf potenzielle Störgrößen hinweisen, die Sie möglicherweise übersehen haben. In solchen Fällen ist es ratsam, die Experimente mit den ursprünglichen Einstellungen zu wiederholen, um die Effekte der Faktoren besser zu verstehen und genauer ableiten zu können.

Ausblick

Im nächsten Blogbeitrag werden wir uns noch intensiver mit der Qualität des Designs beschäftigen und zusätzliche Faktoren untersuchen, die im Zusammenhang mit Ausreißern die Bewertung der Designqualität beeinflussen können.

Es freut mich immer wieder, von Lesern zu hören, die meinen Blog und meine Begeisterung für DoE (Design of Experiments) teilen. Was als Wunsch begann, meinen Studenten einen besseren Zugang zu DoE zu ermöglichen, hat sich zu einer Leidenschaft entwickelt, die ich gerne mit allen Interessierten teile. Wenn Ihnen dieser Artikel gefallen hat, freue ich mich, wenn Sie ihn teilen und liken – denn Wissen ist die einzige Ressource, die durch Teilen nicht weniger wird, sondern wächst.

Bis zum nächsten Mal,

Ihr DoE-Experte

Stefan Moser