Ein Fehler in etwas, das früher funktioniert hat: So melden Sie eine Regression
So melden Sie eine Regression: Finden Sie die letzte Version, die funktioniert hat, grenzen Sie den Bereich bis zur ersten fehlerhaften ein und geben Sie dem Entwickler einen Ausgangspunkt.
„Letzte Woche hat es noch funktioniert.“ Kaum ein Satz macht einen Entwickler schneller hellhörig, und kaum einer ist für sich allein weniger nützlich. Eine Funktion, die sich früher korrekt verhalten hat und es jetzt nicht mehr tut, nennt man Regression, und sie ist ein Geschenk für alle, die sie beheben wollen, denn sie verrät etwas Wertvolles: Der Code war einmal richtig, also liegt die Antwort in dem, was sich geändert hat.
Das Problem ist, dass „letzte Woche hat es noch funktioniert“ ein Gefühl ist, keine Tatsache. Damit es nützlich wird, müssen Sie daraus zwei Belege machen: den letzten Zeitpunkt, an dem es funktioniert hat, und den ersten, an dem es nicht mehr funktioniert hat. So finden Sie beide und halten sie fest.
Warum sich ein guter Bericht über Regressionen lohnt
Bei einem normalen Fehler muss der Entwickler herausfinden, was falsch ist. Eine Regression verschafft ihm einen Vorsprung. Wenn Sie sagen können „in Build 2.13 hat es funktioniert, in Build 2.14 schlägt es fehl“, schrumpft die Suche vom gesamten Produkt auf die Änderungen zwischen zwei Builds. Ein guter Bericht über eine Regression kann eine lange Untersuchung zu einer kurzen machen.
Schritt eins: bestätigen, dass es wirklich eine Regression ist
Bevor Sie „Regression“ in den Titel schreiben, prüfen Sie, ob das alte Verhalten wirklich so war.
- Hat es jemals funktioniert? Vielleicht haben Sie beim letzten Mal einen anderen Weg genommen, oder ein Feature-Flag oder eine Einstellung war aktiv.
- Ist es dasselbe? Eine Seite, die wie die alte aussieht, kann ein neu gestalteter Ablauf mit einer anderen Regel sein.
- Lag es an geänderten Daten? Ein neues Konto oder eine größere Datei kann etwas auslösen, was die alten Daten nicht ausgelöst haben.
- War es beabsichtigt? Release Notes erklären manchmal eine Verhaltensänderung. Prüfen Sie sie zuerst.
Stellen Sie fest, dass die Änderung gewollt war, ist es vielleicht kein Fehler, aber ein Bericht, der die Release Note zitiert, lohnt sich trotzdem als Frage.
Schritt zwei: die letzte gute Version finden
Wenn Sie ältere Builds ausführen können, tun Sie es. Gehen Sie zu einer Version zurück, die Ihrer Erinnerung nach in Ordnung war, und führen Sie dieselben Schritte aus.
- Funktioniert es dort, haben Sie Ihren letzten bekannten guten Build.
- Schlägt es auch dort fehl, gehen Sie weiter zurück oder überdenken Sie, ob es eine Regression ist.
- Können Sie keine alten Builds ausführen, suchen Sie nach Belegen: ein Testergebnis, ein Screenshot, ein Ticket von einem Kunden, der die Funktion genutzt hat, oder ein Log eines erfolgreichen Durchlaufs.
Schreiben Sie die Version oder den Build auf, nicht „vor einer Weile“. Ein Datum hilft auch, aber eine Build-Nummer ist exakt.
Schritt drei: die erste fehlerhafte Version finden
Gehen Sie nun vom guten Build aus vorwärts und testen Sie die Versionen dazwischen. Wenn es viele sind, testen Sie sie nicht einzeln. Nehmen Sie die mittlere. Funktioniert sie, liegt das Problem später. Schlägt sie fehl, liegt das Problem früher. Wiederholen Sie das mit der verbleibenden Hälfte. Das ist dieselbe Idee wie beim Nachschlagen eines Namens im Telefonbuch, das man ungefähr in der Mitte aufschlägt, und so finden Sie den ersten fehlerhaften Build in einer Handvoll Schritte, selbst bei vielen Builds.
Dafür müssen Sie kein Entwickler sein. Sie brauchen Zugriff auf die Builds und die Geduld, jedes Mal dieselben Schritte auszuführen.
Schritt vier: notieren, was sich dazwischen geändert hat
Sobald Sie einen letzten guten und einen ersten fehlerhaften Build haben, sehen Sie sich an, was dazwischen liegt. Niemand erwartet, dass Sie die Ursache finden, aber ein paar Zeilen Kontext helfen.
- Die Release Notes des ersten fehlerhaften Builds.
- Eine Einstellung, Konfiguration oder Abhängigkeit, die sich geändert hat.
- Eine Funktion im selben Bereich, die hinzugefügt oder überarbeitet wurde.
Ein Satz wie „Der Ablauf für Promo-Codes wurde in diesem Release überarbeitet“ ist ein starker Hinweis, und ein Entwickler wird Ihnen dafür dankbar sein.
Schritt fünf: den Bericht schreiben
Ein Bericht über eine Regression ist ein normaler Fehlerbericht mit zwei zusätzlichen Feldern. Hier ist eine Form zum Kopieren:
``` Titel: [Bereich] Symptom (Regression)
Letzter bekannter guter Build Build 2.13.2, die Schritte unten funktionieren wie erwartet.
Erster bekannter fehlerhafter Build Build 2.14.0, die Schritte unten schlagen fehl.
Schritte zur Reproduktion
- ...
- ...
- Der Schritt, an dem es schiefgeht
Erwartet Was im letzten guten Build passiert ist.
Tatsächlich Was jetzt passiert.
Umgebung Plattform, Kontotyp, relevante Einstellungen.
Belege Log-Auszug, Screenshot, Request-ID.
Was sich dazwischen geändert hat Die Release Notes erwähnen einen überarbeiteten Promo-Ablauf.
Verwandte Tickets Das frühere Ticket, mit dem das behoben wurde, falls es eines gab. ```
Das Feld „Verwandte Tickets“ vergisst man leicht, und es lohnt die Mühe. Eine Regression öffnet oft ein altes Problem wieder, und das Ticket, mit dem es beim ersten Mal behoben wurde, hält fest, wie das gelang.
Gewohnheiten, die helfen
- Schreiben Sie „Regression“ in den Titel, damit die Triage das Ticket an das Team weiterleiten kann, das an dem Bereich gearbeitet hat.
- Verknüpfen Sie das alte Ticket, wenn dasselbe Symptom schon einmal behoben wurde.
- Halten Sie die Schritte zwischen den Builds identisch, damit der Vergleich fair ist.
- Nennen Sie die Version, in der es Ihnen zuerst aufgefallen ist, auch wenn Sie es nicht weiter eingrenzen können. Eine Teilantwort ist trotzdem eine Antwort.
Wo BugIt ins Spiel kommt
BugIt ist ein QA-Agent, der in dem Assistenten läuft, den Sie bereits nutzen. Sie beschreiben das Problem in einem groben Satz, und BugIt schreibt den Bericht in der Form Ihres Teams. Bevor Sie den Entwurf sehen, durchsucht es Ihren Tracker mit reinem Lesezugriff nach ähnlichen Tickets und bewertet jedes mit einer Punktzahl, sodass ein früheres Ticket zum selben Symptom als verwandtes Ticket auftauchen kann. Was nur Sie wissen, etwa den letzten guten Build, liefern Sie weiterhin selbst, und BugIt fragt nach dem, was fehlt, auch nach dem Build und der Häufigkeit. BugIt schwärzt gängige personenbezogene Daten nach besten Kräften, lesen Sie also den Entwurf. Sie prüfen jeden Entwurf, bevor er angelegt wird, und nichts wird in Ihren Tracker geschrieben, bevor Sie FILE IT eingeben.
Mehr erfahren Sie unter bugit.dev und taskivator.com/bugit.
Das Wichtigste in Kürze
Eine Regression ist ein Fehler mit Vorsprung. Bestätigen Sie, dass das alte Verhalten wirklich so war, finden Sie den letzten guten Build, halbieren Sie dann die Lücke, um den ersten fehlerhaften zu finden, und notieren Sie, was sich dazwischen geändert hat. Nennen Sie beide Builds im Bericht, verknüpfen Sie ein früheres Ticket, und der Entwickler weiß, wo er zuerst suchen muss.