So melden Sie einen Fehler, der nur manchmal auftritt
So melden Sie einen sporadischen Fehler: Zählen Sie Ihre Durchläufe, finden Sie heraus, was sich zwischen ihnen ändert, und halten Sie die Bedingungen fest, damit ein Entwickler ihm nachgehen kann.
Sie haben es gesehen. Ein Button, der nichts tat, eine Summe, die falsch herauskam, eine Seite, die einfror. Sie haben es noch einmal versucht, und es funktionierte. Beim dritten Mal funktionierte es wieder. Jetzt starren Sie auf ein Ticketformular und fragen sich, wie Sie etwas beschreiben sollen, das gerade aufgehört hat zu existieren.
Willkommen beim Geisterfehler. Er gehört zu den frustrierendsten Problemen in der Software, denn der übliche Rat, „klare Schritte zur Reproduktion angeben“, scheint zu versagen, wenn die Schritte nur manchmal funktionieren. Die gute Nachricht: Auch ein Geist lässt sich beschreiben. Er braucht nur eine andere Art von Bericht: weniger über den genauen Weg, mehr über die Bedingungen drumherum.
Warum „manchmal“ ein Hinweis ist und keine Sackgasse
Ein Fehler, der ab und zu auftritt, ist nicht zufällig. In den Durchläufen, in denen er auftritt, ist etwas anders. Das kann das Timing sein, die Reihenfolge der Aktionen, die Daten im Konto, die Größe einer Datei, das Netzwerk oder wie lange die App schon geöffnet ist. Der Computer tut genau das, was ihm gesagt wurde. Ihre Aufgabe ist es, jemandem zu helfen, den Unterschied zu finden.
Das ändert, wie Sie den Bericht schreiben. Statt eines sauberen Wegs sammeln Sie Belege dafür, wann es passiert und wann nicht.
Schritt eins: absichtlich wiederholen
Wiederholen Sie die Schritte vor dem Melden eine Handvoll Mal und notieren Sie jedes Mal, was passiert. Ein kleines Protokoll der Durchläufe genügt:
`` Durchlauf 1: fehlgeschlagen Durchlauf 2: erfolgreich Durchlauf 3: erfolgreich Durchlauf 4: fehlgeschlagen Durchlauf 5: erfolgreich ``
Jetzt können Sie sagen, wie oft es passiert, statt „manchmal“. Ein Entwickler, der „in zwei von fünf Durchläufen fehlgeschlagen“ liest, weiß mehr als einer, der „es ist instabil“ liest, denn das Erste lässt sich testen und vergleichen.
Schritt zwei: jeweils eine Sache ändern
Suchen Sie, was die fehlgeschlagenen Durchläufe von den erfolgreichen unterscheidet. Die üblichen Verdächtigen:
- Timing. Haben Sie direkt nach dem Laden einer Seite geklickt? Ist es fehlgeschlagen, als Sie eine Minute gewartet haben?
- Reihenfolge. Haben Sie die Schritte in den fehlgeschlagenen Durchläufen in einer leicht anderen Reihenfolge ausgeführt?
- Daten. Ein neues Konto, ein altes Konto, ein langer Name, ein leeres Feld, eine große Datei.
- Zustand. Ein frischer Start oder eine App, die seit einer Stunde geöffnet ist. Angemeldet oder gerade erst angemeldet.
- Umgebung. Ein anderer Browser, ein anderes Gerät, ein anderes Netzwerk oder ein anderer Build.
- Last. Andere Dinge, die gleichzeitig laufen, oder ein Moment hoher Auslastung auf dem Server.
Ändern Sie zwischen den Durchläufen eine dieser Größen, nicht drei auf einmal. Häufen sich die Fehlschläge rund um eine Änderung, haben Sie die Spur gefunden.
Schritt drei: den fehlgeschlagenen Durchlauf festhalten
Wenn es fehlschlägt, sichern Sie die Belege sofort, denn der nächste Versuch kann funktionieren und die Spur verwischen.
- Notieren Sie die genaue Uhrzeit, damit jemand den Moment in den Logs findet.
- Kopieren Sie die Fehlermeldung, falls es eine gibt.
- Speichern Sie die Log-Zeilen rund um den Fehlschlag, gekürzt auf das Wesentliche.
- Notieren Sie den Build oder die Version.
- Wenn Sie eine Request-ID oder Session-ID haben, bewahren Sie sie auf.
Uhrzeit und Build sind die beiden Angaben, die aus „es ist einmal fehlgeschlagen“ ein „diesen Moment in den Logs finden“ machen.
Schritt vier: den Bericht für einen Geist schreiben
Ein Bericht über einen sporadischen Fehler hat die üblichen Teile und dazu einige, die mehr zählen als sonst. Hier ist eine Form zum Kopieren:
``` Titel: [Bereich] Symptom, sporadisch
Was passiert Beschreiben Sie den Fehlschlag in einfachen Worten.
Wie oft In 2 von 5 Durchläufen mit den Schritten unten fehlgeschlagen.
Schritte
- ...
- ...
- Der Schritt, an dem es schiefgeht
Beobachtete Bedingungen Fehlgeschlagen, wenn im Warenkorb ein Promo-Code angewendet war. Ohne funktionierte es. Noch nicht in anderen Browsern getestet.
Umgebung Build, Plattform, Kontotyp.
Belege Uhrzeit des fehlgeschlagenen Durchlaufs, Log-Auszug, Request-ID. ```
Die Zeilen „Beobachtete Bedingungen“ und „Noch nicht getestet“ sind das Herzstück. Sie sagen dem Entwickler, was Sie bestätigt haben, und, genauso nützlich, was Sie noch nicht geprüft haben.
Was Sie lassen sollten
- Warten Sie nicht, bis Sie den Fehler jedes Mal reproduzieren können. Ein ehrlicher Bericht mit Häufigkeit und ein paar Spuren ist besser als Schweigen. Manche Fehler lassen sich nicht zuverlässig reproduzieren und müssen trotzdem behoben werden.
- Stellen Sie keine Vermutung über die Ursache als Tatsache dar. „Es sieht nach einem Timing-Problem aus“ ist in Ordnung. „Es ist eine Race Condition“ ist eine Behauptung, die Sie vielleicht nicht belegen können.
- Schließen Sie Ihr eigenes Ticket nicht, wenn der Fehler nicht mehr auftritt. Ein Fehler, der still geworden ist, ist oft noch da. Fügen Sie eine Notiz hinzu und lassen Sie das Ticket offen.
- Lassen Sie die erfolgreichen Durchläufe nicht weg. Sie sind die Hälfte der Belege.
Wo BugIt ins Spiel kommt
Gerade bei Geisterfehlern werden Berichte lückenhaft, weil die meldende Person müde ist und die Details entgleiten. BugIt ist ein QA-Agent, der in dem Assistenten läuft, den Sie bereits nutzen. Sie beschreiben in einem groben Satz, was passiert ist, und BugIt fragt nach dem, was fehlt, etwa nach dem Build und der Häufigkeit, bevor es den Entwurf schreibt. Aus einem eingefügten Log behält es die Fehlerzeile und den Stack, und es schwärzt gängige personenbezogene Daten nach besten Kräften, daher lesen Sie den Entwurf, bevor er weitergegeben wird. Sie prüfen jeden Entwurf, bevor er angelegt wird, und nichts wird in Ihren Tracker geschrieben, bevor Sie FILE IT eingeben.
Siehe bugit.dev und taskivator.com/bugit.
Das Wichtigste in Kürze
Ein sporadischer Fehler ist ein Fehler mit einer verborgenen Bedingung. Wiederholen und zählen Sie, ändern Sie jeweils eine Sache, halten Sie den fehlgeschlagenen Durchlauf mit Uhrzeit und Build fest und notieren Sie sowohl, was Sie gesehen haben, als auch, was Sie noch nicht ausprobiert haben. Beschreiben Sie die Bedingungen, nicht nur den Weg, und aus einem Geist wird etwas, dem ein Entwickler nachgehen kann.