Pareto-Testing

Regressionstests vollständig durchzuführen dauert oft zu lange, um frühzeitig
Feedback zu erhalten. Pareto-Testing hilft mit einer optimierten Testauswahl schnellstmöglich
neue Fehler in Ihrem System aufzudecken.

Motivation

Vollständige Regressionstests sind teuer

Ein vollständiger Regressionstest kann in komplexen Setups mehrere hundert Stunden Ausführzeit benötigen. Oftmals lässt sich dies kaum beschleunigen, beispielsweise aufgrund von Umsystemen oder Hardware-in-the-Loop. Ein einzelner Fehler, der möglicherweise viele Testfälle gleichzeitig umfallen lässt, kommt somit teuer zu stehen. Diese Fehler vor dem Regressionstest abzufangen würde einiges an Kosten einsparen.

Testauswahl basierend auf Coverage

Pareto-Optimierung

Ein einzelner Testfall deckt oftmals nur einen sehr kleinen Teil des Systems ab. Funktional ähnliche Testfälle überschneiden sich dabei und decken manche Teile redundant ab.  Die Pareto-Optimierung wählt diejenigen Testfälle aus, die bei möglichst geringer Ausführungszeit maximal viel zur Testüberdeckung des Gesamtsystems beitragen. Somit wird die Wahrscheinlichkeit erhöht, dass ein neuer Fehler im System möglichst frühzeitig von einem Test gefunden wird.

Fehler frühzeitig finden

Kostenersparnisse

Das Ausführen der Pareto-optimierten Testsuite bewirkt, dass mit einem Bruchteil der Gesamtausführungszeit bereits ein signifikanter Anteil der Gesamttestabdeckung erreicht wird. In wissenschaftlichen Studien konnten wir durch Mutation-Testing zeigen, dass eine Pareto-optimierte Testuite 95% der Mutanten bereits in 15% der ursprünglichen Gesamtzeit eines Regressionstestlaufes findet. Nach einem erfolgreichen, schnellen Pareto-Test können Sie somit mit besserem Gewissen in den vollständigen, teureren Regressionstest starten.

Technische Integration

Anwendung in der Entwicklung

Um Pareto-Optimierung auf Ihre Testsuite anzuwenden, muss testfallspezifische Coverage vorliegen. Unser Werkzeug Teamscale berechnet dann, welche Teilmenge der Tests wie viel Coverage in minimaler Zeit erzielt und schlägt Ihnen die Pareto-optimierte Testsuite vor. Diese können Sie anschließend hoch-frequent während der Entwicklung ausführen und damit den teuren, vollständigen Regressionstest absichern.

Besuchen Sie www.teamscale.com für eine detaillierte Übersicht von Teamscale.

Dr. Elmar Jürgens
Erfahrungsaustausch

Möchten Sie sich zu Pareto-Testing austauschen?

Jede komplexe Analyse wirft Fragen auf. Ist Sie bei Ihnen überhaupt anwendbar? Welche Erfahrungen haben andere Firmen in Ihrer Branche mit Pareto-Testing gemacht? Werden die Technologien unterstützt, die Sie einsetzen? usw.

Ich biete mich Ihnen hierzu gerne als Gesprächspartner an. Nehmen Sie Kontakt auf, ich freue mich auf unseren Austausch :-)