Many Teams must test more and more functionality in less and less time. Historically grown test suites are often not up to this challenge since they test too much and too little at the same time. Too much, since they contain redundant tests that post execution and maintenance costs but provide little value over similar tests. Too little since important functionality remains untested. In this talk, I present analysis techniques to uncover these problems in your own system.

Because release cycles are getting shorter and shorter, development and test are often done in parallel. This is hard to align. In practice, this often causes test gaps, when untested changes are deployed in production. We will present both the research fundamentals and demo change-driven testing on our own software.

As software systems grow, so does the number of their tests. As a result, we increasingly often encounter test suites that run hours or days, which is painfully slow. To get fast feedback about new bugs despite slow tests, we can run a subset of all tests more frequently. If this subset is chosen well, these tests identify most bugs very quickly.

-- Since this post accompanies a talk in German, it is written in German, too.

Viele Entwicklungsteams stehen vor der Herausforderung, immer mehr Software in immer weniger Zeit testen zu müssen, weil erfolgreiche Software wächst und Release-Zyklen immer kürzer werden. Risikobasiertes Testen hilft hier, limitierte Testressourcen effektiv(er) und effizient(er) einzusetzen. Dieser Vortrag stellt risikoorientierte Analysen und Methoden vor, um Transparenz über Testfortschritt und -risiken zu schaffen, Tests zu beschleunigen und beschränkte Testressourcen effizient einzusetzen.

-- Since this post accompanies a talk in German, it is written in German, too.

Softwareentwicklung soll möglichst schnell vonstattengehen und gleichzeitig auch qualitativ möglichst hochwertige Software produzieren. Code Reviews sind schon lange ein ausgereiftes Konzept zur Qualitätssicherung im Softwareentwicklungsprozess. Trotzdem beobachten wir, dass sie oft nicht eingesetzt werden, da sie als zu zeitaufwendig oder irrelevant gelten. Aber sind sie das wirklich? Was leisten Code Reviews? Welche Probleme decken sie auf? Wir haben mehr als 16 Jahre Code-Review-Historie aus der Entwicklung unseres Produkts Teamscale unter die Lupe genommen. In diesem Vortrag teilen wir unsere Erkenntnisse aus dieser Analyse.

Je älter und größer Softwaresysteme sind, desto wichtiger ist eine verlässliche, automatisierte Testsuite. Da die Suite (und deren Ausführungsdauer) jedoch mit wächst, kommt ihr Feedback immer später, was das Lokalisieren von Fehlern erschwert. Eine wirksame Lösung ist, eine Teilmenge der Tests häufiger auszuführen. Zur Auswahl einer solchen Teilmenge haben wir Pareto-Testing und die Test-Impact-Analyse entwickelt. Im Vortrag stellen wir beide Ansätze vor und berichten vom Einsatz bei der Bayerischen Versorgungskammer, wo wir sie auf der großen automatisierten Testsuite eines komplexen Softwaresystems angewendet und verglichen haben.

-- Since this post accompanies a talk in German, it is written in German, too.

Viele Teams müssen immer mehr Funktionalität in immer weniger Zeit testen. Historisch gewachsene Test-Suites stoßen dabei oft an ihre Grenzen, da sie gleichzeitig Zuviel und Zuwenig testen. Zuviel, da sie Tests enthalten, die Kosten erzeugen, aber kaum Mehrwert gegenüber ähnlichen Tests bieten. Zuwenig, da trotzdem wichtige Funktionalität ungetestet bleibt. Im Vortrag stellen wir Analysetechniken vor, um diese Probleme im eigenen System aufzuzeigen. Historienanalyse des Versionskontrollsystems zeigt, wo in der Vergangenheit im System am meisten Fehler aufgetreten sind. Test-Gap-Analyse deckt auf, welche Code-Änderungen noch ungetestet sind. Und Pareto-Test-Analysen und Test-Impact-Analyse identifizieren die Tests, die genau jetzt das beste Kosten-Nutzen-Verhältnis haben. Wir zeigen für jede Analyse die zugrundeliegenden Konzepte aus der Forschung und unsere Erfahrungen im Einsatz in der Praxis.

-- Since this post accompanies a talk in German, it is written in German, too.

Wie steht es um die technischen Schulden in unserer Software? Was sind die Herausforderungen für unseren Qualitätssicherungsprozess? Wo besteht Handlungsbedarf? Und wie geht man Qualitätsverbesserung nachhaltig an? Vor diesen Fragen stand Christian Finkbeiner (SAP-Software-Architekt, SEW-EURODRIVE) vor drei Jahren. Gemeinsam mit Dr. Tobias Röhm (Berater für Softwarequalität, CQSE) ging er auf die Suche nach Antworten.

Most errors in long-lived software occur in code areas that change a lot. To do things right, you have to make sure that no important changes go live untested. Test Gap analysis helps us to find untested changes.

-- Since this post accompanies a podcast in German, it is written in German, too.

Ich erzähle in der Folge, wie wir es als Entwicklungsteam hinter Teamscale die letzten drei Jahre geschafft haben, von einem etwas in die Jahre gekommenen Frontend Technologiestack, bestehend aus den Google Closure Tools, auf einen modernen Technologiestack zu wechseln (Vite + React + Typescript). Im Detail gehe ich auf die Punkte ein, was die Motivation für den Wechsel war, wie wir die Migration technisch und organisatorisch in kleinere Schritte herunter gebrochen und umgesetzt haben.

-- Since this post accompanies a talk in German, it is written in German, too.

Wer Qualitätsanalysen einführen möchte oder Ressourcen für den Abbau technischer Schulden einfordert, muss oft eine Kosten-Nutzen-Rechnung liefern. Die Kosten sind meist offensichtlich. Da sich der Nutzen aus vermiedenen Problemen ergibt, die ja per Definition nicht aufgetreten sind, ist eine seriöse Quantifizierung jedoch schwierig.

Wir haben bei unserem Kunden Munich Re vor zehn Jahren geholfen, Qualitätsanalysen einzuführen und begleiten die Nutzung seitdem. Vor der Einführung hatten wir damals gemeinsame wissenschaftliche Arbeiten veröffentlicht, in denen wir den Stand der technischen Schulden und Teile ihrer Auswirkungen vor Einführung der Qualitätsanalysen festgehalten hatten. Auf Basis dieser damaligen Daten konnten wir zehn Jahre später vergleichen, was sich verbessert hat, und welchen Nutzen das bringt.

Since this post accompanies a talk in German, it is written in German, too.

Die meisten Fehler treten bei langlebiger Software dort auf, wo viel geändert wird. Wer es richtig machen will, muss sicherstellen, dass keine wichtigen Änderungen ungetestet bleiben. Die Test-Gap-Analyse hilft uns ungetestete Änderungen zu finden.

-- Since this post accompanies a talk in German, it is written in German, too.

Viele Teams müssen immer mehr Funktionalität in immer weniger Zeit testen. Historisch gewachsene Test-Suites stoßen dabei oft an ihre Grenzen, da sie gleichzeitig Zuviel und Zuwenig testen. Zuviel, da sie Tests enthalten, die Kosten erzeugen, aber kaum Mehrwert gegenüber ähnlichen Tests bieten. Zuwenig, da trotzdem wichtige Funktionalität ungetestet bleibt. Im Vortrag stellen wir Analysetechniken vor, um diese Probleme im eigenen System aufzuzeigen. Historienanalyse des Versionskontrollsystems zeigt, wo in der Vergangenheit im System am meisten Fehler aufgetreten sind. Test-Gap-Analyse deckt auf, welche Code-Änderungen noch ungetestet sind. Und Pareto-Test-Analysen und Test-Impact-Analyse identifizieren die Tests, die genau jetzt das beste Kosten-Nutzen-Verhältnis haben. Wir zeigen für jede Analyse die zugrundeliegenden Konzepte aus der Forschung und unsere Erfahrungen im Einsatz in der Praxis.

-- Since this post accompanies a talk in German, it is written in German, too.

Wenn ein System wächst, wächst auch die Anzahl automatisierter Tests. Wir sehen immer öfter Test-Suiten, die Stunden oder Tage laufen. Das ist lähmend langsam. Wenn die Ausführung aller Tests zu lange dauert, kann man einen Teil der Tests häufiger auszuführen als den Rest. Der Schlüssel ist, diese Teilmenge so zu wählen, dass sie in einem Bruchteil der Zeit einen Großteil der Fehler findet. Im Vortrag stellen wir verschiedene Ansätze hinsichtlich Kosten, Nutzen und Anwendbarkeit und stellen Erfahrungen aus Forschung und Praxiseinsatz vor.