Most errors in long-lived software occur in code areas that change a lot. To do things right, you have to make sure that no important changes go live untested. Test Gap Analysis helps us to find untested changes. After an introduction to Test Gap Analysis (TGA), we present the experience that we have gained in recent years using TGA with customers and in our own development

-- Since this post accompanies a talk in German, it is written in German, too.

Wer hochqualitative Software-Systeme entwickeln möchte, muss zu jeder Zeit auch an der Qualität der Codebasis arbeiten. In der Praxis gelingt das nur, wenn die Qualitätsbewertung weitgehend automatisiert wird und die Qualitätsverbesserung zu einem integralen Bestandteil des Entwicklungsprozesses wird. Beim CQSE Software Intelligence Talk 2021-3 berichten Christian Pfaller (Team Lead Quality Control Services, CQSE) und Erkin Bapisch (Versicherungskammer Bayern) über ihre Erfahrungen bei der Einführung und Umsetzung.

-- Since this post accompanies a talk in German, it is written in German, too.

Je älter und größer ein Softwaresystem ist, desto wichtiger ist eine verlässliche, automatisierte Testsuite. Insbesondere, wenn viele Änderungen umgesetzt und kurze Release-Zyklen angestrebt werden. Mit der Größe des Systems wächst jedoch die Testsuite und damit steigt auch deren Ausführungsdauer. Wir sehen bei unseren Kunden immer öfter Testsuites, die mehrere Stunden oder sogar Tage laufen. Langlaufende Testsuites werden aber meist seltener ausgeführt als schnelle, z.B. wöchentlich statt täglich. Dadurch müssen Entwickler länger auf Feedback warten, was es ihnen erschwert, die Ursache für fehlschlagende Tests zu lokalisieren. In zwei Vorträgen stellen wir erst die Grundideen und Forschungsergebnisse vor und dann die Erfahrungen, die wir bei der Bayerischen Versorgungskammer damit gesammelt haben.

-- Since this post accompanies a talk in German, it is written in German, too.

Passen Architektur einer Anwendung und Kommunikationsstrukturen ihres Entwicklungsteams nicht zueinander, führt das zu Problemen. Sowohl die Architektur, als auch die Teamorganisation entwickeln sich jedoch oft unabhängig voneinander weiter. Wie können wir früh merken, wenn Probleme auftreten, um rechtzeitig reagieren zu können? Im Vortrag stelle ich moderne Analysetechniken vor, die uns hierbei unterstützen. Die Analysen beziehen dabei eine Vielzahl von Daten ein, die wir in der Software-Entwicklung produzieren: Von Code, über Versionshistorien, bis hin zu Traces und Ausführungsinformationen aus Test- und Produktionssystemen. Dadurch erlauben sie faktenbasierte Entscheidungen in einem Umfeld, in dem gerade in Krisensituationen sonst oft emotionsgeladene Diskussionen geführt werden.

-- Since this post accompanies a talk in German, it is written in German, too.

Ich habe vor 14 Jahren als Doktorand zum ersten Mal Qualitätsanalysen in der Praxis durchgeführt. Mich hat damals fasziniert, welche Einblicke mir die Ergebnisse in die Entwicklungsprozesse und Probleme in erfolgreichen Organisationen erlaubten. In der Zwischenzeit ist die Firma, die ich mitgegründet habe, auf 45 Mitarbeiter gewachsen. Aus unseren Forschungsprototypen ist inzwischen ein kommerzielles Analysewerkzeug geworden, das eine Vielzahl der Analyseansätze aus unserer Community implementiert. Auch 14 Jahre später fasziniert mich, welche Ergebnisse und Überraschungen unsere Analysen in der Praxis zu Tage fördern.

-- Since this post accompanies a talk in German, it is written in German, too.

Wir wissen alle, wie Code idealerweise aussehen sollte: Kurze Methoden, keine kopierten Code-Abschnitte, vollständige Kommentierung, usw. Wir wissen aber auch, dass dieses Idealbild in der Praxis nur selten erreicht werden kann. Wir stellen einen Benchmark vor, der Systeme hinsichtlich verschiedener Qualitätseigenschaften vergleicht. Daraus lässt sich eine Erwartungshaltung ableiten, die hilft zu entscheiden, in welchen Bereichen Handlungsbedarf besteht. Zusätzlich teilen wir unsere Erfahrungen beim Erstellen eines solchen Benchmarks.

-- Since this post accompanies a talk in German, it is written in German, too.

Viele Teams müssen immer mehr Funktionalität in immer weniger Zeit testen. Historisch gewachsene Test-Suites stoßen dabei oft an ihre Grenzen, da sie gleichzeitig Zuviel und Zuwenig testen. Zuviel, da sie Tests enthalten, die Kosten erzeugen, aber kaum Mehrwert gegenüber ähnlichen Tests bieten. Zuwenig, da trotzdem wichtige Funktionalität ungetestet bleibt. Im Vortrag stelle ich Analysetechniken vor, um diese Probleme im eigenen System aufzuzeigen. Historienanalyse des Versionskontrollsystems zeigt, wo in der Vergangenheit im System am meisten Fehler aufgetreten sind. Test-Gap-Analyse deckt auf, welche Code-Änderungen noch ungetestet sind. Und Pareto-Test-Analysen identifizieren die Tests, die das schlechteste Kosten-Nutzen-Verhältnis haben.

-- Since this post accompanies a talk in German, it is written in German, too.

Wenn ein System wächst, wird auch die Anzahl der automatisierten Tests größer. Das hat zur Folge, dass die Tests länger brauchen. Wir sehen in der Praxis zunehmend öfter Test-Suiten, die mehrere Stunden bis Tage laufen. Dadurch müssen Entwickler immer länger auf Feedback warten. Das erschwert die Lokalisierung der Ursachen von Testfehlschlägen und mindert dadurch den Wert der Tests.

-- Since this post accompanies a talk in German, it is written in German, too.

Wir wissen alle, wie Code idealerweise aussehen sollte: Kurze Methoden, keine kopierten Code-Abschnitte, vollständige Kommentierung, usw. Wir wissen aber auch, dass dieses Idealbild in der Praxis nur selten erreicht werden kann. Wir stellen einen Benchmark vor, der Systeme hinsichtlich verschiedener Qualitätseigenschaften vergleicht. Daraus lässt sich eine Erwartungshaltung ableiten, die hilft zu entscheiden, in welchen Bereichen Handlungsbedarf besteht. Zusätzlich teilen wir unsere Erfahrungen beim Erstellen eines solchen Benchmarks.

-- Since this post accompanies a talk in German, it is written in German, too.

Die meisten Fehler treten bei langlebiger Software dort auf, wo viel geändert wird. Wer richtig will, muss sicherstellen, dass keine wichtigen Änderungen ungetestet bleiben. Die Test-Gap-Analyse hilft uns ungetestete Änderungen zu finden. Nach einer Einführung in die Test-Gap-Analyse stellen wir im Vortrag die Erfahrungen vor, die wir in den letzten Jahren im Einsatz bei Kunden und in der eigenen Entwicklung gesammelt haben und beantworten u.a. folgende Fragen: Wie lassen sich Hotfix-Tests absichern? Wie kann ich iterationsbegleitend ermitteln, wie gründlich ausgewählte kritische User Stories oder Change Requests getestet wurden? Wie stehen im Release-Test die Testabdeckungen von unterschiedlichen Teststufen (Unit-Test, Integrationstest, Akzeptanztest, User-Trampeltest usw.) zueinander und welche Änderungen wurden von keiner Teststufe geprüft?

-- Since this post accompanies a talk in German, it is written in German, too.

Viele Teams müssen immer mehr Funktionalität in immer weniger Zeit testen. Historisch gewachsene Test-Suites stoßen dabei oft an ihre Grenzen, da sie gleichzeitig Zuviel und Zuwenig testen. Zuviel, da sie Tests enthalten, die Kosten erzeugen, aber kaum Mehrwert gegenüber ähnlichen Tests bieten. Zuwenig, da trotzdem wichtige Funktionalität ungetestet bleibt. Im Vortrag stelle ich Analysetechniken vor, um diese Probleme im eigenen System aufzuzeigen. Historienanalyse des Versionskontrollsystems zeigt, wo in der Vergangenheit im System am meisten Fehler aufgetreten sind. Test-Gap-Analyse deckt auf, welche Code-Änderungen noch ungetestet sind. Und Pareto-Test-Analysen identifizieren die Tests, die das schlechteste Kosten-Nutzen-Verhältnis haben.

-- Since this post accompanies a talk in German, it is written in German, too.

Software-Qualitätssicherung ist eine Feedback-Schleife: Entwickler arbeiten an einem Software-System, und dieses System durchläuft eine Qualitätsbewertung, deren Ergebnisse dann wiederum die Entwickler bei ihrer Arbeit unterstützt. Häufig funktionieren Quality-Gates in der Praxis nicht wie gewünscht: Ihr Feedback kommt oft viel zu spät im Entwicklungsprozess, sodass der Schmerz dann zu groß ist, um wegen scheinbar wenig kritischer Qualitätsprobleme das ganze System zurück in die Entwicklung zu schieben. Außerdem bewerten Quality-Gates oft das System als Ganzes, statt konkrete Änderungen, sodass es für den einzelnen Entwickler schwer ist, auf das Feedback zu reagieren. In den letzten Jahren gab es allerdings einige Entwicklungen, die es erlauben, eine viel schlankere und wirksamere Form von Quality-Gates zu etablieren.