Comment signaler un bug qui ne survient que de temps en temps
Comment signaler un bug intermittent : comptez vos essais, trouvez ce qui change d’un essai à l’autre et notez les conditions pour qu’un développeur puisse le traquer.
Vous l’avez vu. Un bouton qui ne faisait rien, un total erroné, une page figée. Vous avez réessayé, et ça a marché. Une troisième fois, et ça a encore marché. Vous voilà devant un formulaire de ticket à vous demander comment décrire quelque chose qui vient de cesser d’exister.
Bienvenue dans le monde du bug fantôme. C’est l’un des problèmes les plus frustrants du logiciel, car le conseil habituel, « donnez des étapes de reproduction claires », semble s’effondrer quand les étapes ne fonctionnent qu’une partie du temps. La bonne nouvelle, c’est qu’un fantôme peut se décrire. Il lui faut simplement un autre type de rapport : moins centré sur le chemin exact, davantage sur les conditions qui l’entourent.
Pourquoi « parfois » est un indice, pas une impasse
Un bug qui apparaît de temps en temps n’est pas aléatoire. Quelque chose diffère dans les essais où il échoue. Ce peut être le timing, l’ordre des actions, les données du compte, la taille d’un fichier, le réseau, ou depuis combien de temps l’application est ouverte. L’ordinateur fait exactement ce qu’on lui a demandé. Votre rôle est d’aider quelqu’un à trouver la différence.
Cela change la manière d’écrire le rapport. Au lieu d’un chemin unique et net, vous rassemblez des preuves sur les moments où le bug se produit et ceux où il ne se produit pas.
Première étape : relancez-le, délibérément
Avant de déposer le ticket, répétez les étapes une poignée de fois et notez ce qui se passe à chaque fois. Un petit journal d’essais suffit :
`` Essai 1 : échec Essai 2 : OK Essai 3 : OK Essai 4 : échec Essai 5 : OK ``
Vous pouvez désormais dire à quelle fréquence le problème survient au lieu de « parfois ». Un développeur qui lit « échec sur deux essais sur cinq » en sait plus que celui qui lit « c’est instable », car la première information peut être testée et comparée.
Deuxième étape : changez une seule chose à la fois
Cherchez ce qui distingue les essais en échec de ceux qui fonctionnent. Les suspects habituels :
- Le timing. Avez-vous cliqué juste après le chargement d’une page ? Cela a-t-il échoué quand vous avez attendu une minute ?
- L’ordre. Avez-vous effectué les étapes dans un ordre légèrement différent lors des essais en échec ?
- Les données. Un nouveau compte, un ancien compte, un nom long, un champ vide, un fichier volumineux.
- L’état. Un démarrage à neuf ou une application ouverte depuis une heure. Une session déjà ouverte ou une connexion toute récente.
- L’environnement. Un autre navigateur, appareil, réseau ou build.
- La charge. D’autres traitements en même temps, ou un pic d’activité sur le serveur.
Changez l’un de ces éléments entre deux essais, pas trois à la fois. Si les échecs se concentrent autour d’un changement, vous tenez la piste.
Troisième étape : capturez l’essai en échec
Quand l’échec se produit, récupérez les preuves immédiatement, car la tentative suivante peut fonctionner et effacer la trace.
- Notez l’heure exacte, pour que quelqu’un puisse retrouver l’essai dans les journaux.
- Copiez le message d’erreur s’il y en a un.
- Conservez les lignes du journal autour de l’échec, réduites à l’essentiel.
- Notez le build ou la version.
- Si vous avez un identifiant de requête ou de session, gardez-le.
L’heure et le build sont les deux détails qui transforment « ça a échoué une fois » en « trouvez ce moment dans les journaux ».
Quatrième étape : rédigez le rapport d’un bug fantôme
Un rapport de bug intermittent comporte les parties habituelles, plus quelques-unes qui comptent davantage que d’ordinaire. Voici une forme que vous pouvez copier :
``` Titre : [Zone] Symptôme, intermittent
Ce qui se passe Décrivez l’échec avec des mots simples.
Fréquence Échec sur 2 essais sur 5 avec les étapes ci-dessous.
Étapes
- ...
- ...
- L’étape où le problème survient
Conditions observées Échec quand le panier avait un code promo appliqué. Fonctionne sans. Pas encore testé sur d’autres navigateurs.
Environnement Build, plateforme, type de compte.
Preuves Heure de l’essai en échec, extrait de journal, identifiant de requête. ```
Les lignes « Conditions observées » et « Pas encore testé » en sont le cœur. Elles indiquent au développeur ce que vous avez confirmé et, tout aussi utile, ce que vous n’avez pas encore vérifié.
Ce qu’il ne faut pas faire
- N’attendez pas de pouvoir le reproduire à chaque fois. Un rapport honnête avec une fréquence et quelques pistes vaut mieux que le silence. Certains bugs ne deviennent pas reproductibles à coup sûr, et il faut quand même les corriger.
- Ne présentez pas une hypothèse sur la cause comme un fait. « On dirait un problème de timing » convient. « C’est une race condition » est une affirmation que vous ne pourrez peut-être pas étayer.
- Ne fermez pas votre propre ticket quand le problème cesse. Un bug qui se fait discret est souvent toujours là. Ajoutez une note et laissez le ticket ouvert.
- N’omettez pas les essais qui ont fonctionné. Ils représentent la moitié des preuves.
La place de BugIt
Les bugs fantômes sont précisément le cas où un rapport s’appauvrit, parce que la personne qui signale est fatiguée et que les détails s’effacent. BugIt est un agent QA qui fonctionne dans l’assistant que vous utilisez déjà. Vous décrivez ce qui s’est passé en une phrase approximative, et il demande ce qui manque, comme le build et la fréquence du problème, avant de rédiger le brouillon. Il conserve la ligne d’erreur et la pile d’appels d’un journal que vous collez, et il masque les données personnelles courantes, au mieux : vous relisez donc le brouillon avant qu’il ne parte où que ce soit. Vous relisez chaque brouillon avant son dépôt, et rien n’est écrit dans votre outil de suivi tant que vous n’avez pas tapé FILE IT.
Voir bugit.dev et taskivator.com/bugit.
À retenir
Un bug intermittent est un bug avec une condition cachée. Relancez-le et comptez, changez une seule chose à la fois, capturez l’essai en échec avec son heure et son build, et notez à la fois ce que vous avez vu et ce que vous n’avez pas encore essayé. Décrivez les conditions, pas seulement le chemin, et un fantôme devient quelque chose qu’un développeur peut traquer.