BugIt4分で読めます

たまにしか起きないバグの報告のしかた

たまにしか起きないバグの報告方法:実行回数を数え、実行ごとに何が変わるかを見つけ、条件を書き留めて、開発者が追いかけられるようにします。

成功と失敗が混在するテスト実行の例が並び、その下に実行ごとの違いをまとめた短い表があります。

確かに見たのです。押しても何も起きないボタン、おかしな合計金額、固まったページ。もう一度試すと、動きました。3回目も動きました。そして今、ついさっき消えてしまったものをどう説明すればよいのか、チケットのフォームを前に途方に暮れています。

幽霊バグの世界へようこそ。ソフトウェアの問題の中でも特にやっかいなものの1つです。「明確な再現手順を書く」というおなじみのアドバイスが、手順がときどきしか通用しないと、成り立たなくなるように思えるからです。朗報は、幽霊も説明できるということです。ただ、レポートの書き方を変える必要があります。正確な道筋よりも、その周りの条件に重きを置くのです。

「ときどき」は行き止まりではなく手がかり

たまに起きるバグは、でたらめに起きているわけではありません。失敗する実行では、何かが違っています。タイミング、操作の順番、アカウントのデータ、ファイルのサイズ、ネットワーク、あるいはアプリを開いている時間かもしれません。コンピューターは言われたとおりに動いているだけです。あなたの仕事は、誰かがその違いを見つけられるよう手助けすることです。

そう考えると、レポートの書き方が変わります。1本のきれいな道筋を示す代わりに、いつ起きて、いつ起きないかについてのエビデンスを集めるのです。

ステップ1:意図してもう一度実行する

登録する前に、手順を何回か繰り返し、毎回何が起きたかを書き留めます。簡単な実行記録で十分です。

`` 1回目:失敗 2回目:成功 3回目:成功 4回目:失敗 5回目:成功 ``

これで「ときどき」ではなく、どのくらいの頻度で起きるかを伝えられます。「5回中2回失敗した」と読んだ開発者は、「不安定です」と読んだ開発者より多くのことがわかります。前者は検証でき、比較もできるからです。

ステップ2:一度に1つだけ変える

失敗した実行と成功した実行を分けているものを探します。よくある容疑者は次のとおりです。

  • タイミング。 ページが読み込まれた直後に素早くクリックしましたか?1分待ったときに失敗しましたか?
  • 順番。 失敗した実行では、少し違う順番で操作しませんでしたか?
  • データ。 新しいアカウント、古いアカウント、長い名前、空の入力欄、大きなファイル。
  • 状態。 起動したばかりか、1時間開いたままか。ずっとログインしていたか、ログインした直後か。
  • 環境。 別のブラウザ、デバイス、ネットワーク、ビルド。
  • 負荷。 同時に動いている他の処理や、サーバーが混み合っているタイミング。

実行ごとに変えるのは、このうち1つだけにします。3つ同時に変えてはいけません。失敗が1つの変化の周りに集中していれば、手がかりが見つかったことになります。

ステップ3:失敗した実行を記録する

失敗したら、すぐにエビデンスを確保します。次の試行では成功して、痕跡が消えてしまうかもしれないからです。

  • 正確な時刻を書き留めます。誰かがログの中でその瞬間を探せるようにするためです。
  • エラーメッセージがあればコピーします。
  • 失敗の前後のログ行を、必要な部分に絞って保存します。
  • ビルドまたはバージョンを書き留めます。
  • リクエスト ID やセッション ID があれば、控えておきます。

時刻とビルドの2つがあれば、「一度失敗した」が「ログのこの瞬間を見てください」に変わります。

ステップ4:幽霊のためのレポートを書く

間欠的なバグのレポートには、通常の項目に加えて、いつも以上に重要になる項目がいくつかあります。コピーして使える形を紹介します。

``` タイトル:[対象領域] 症状(間欠的)

何が起きるか 失敗をわかりやすい言葉で説明する。

発生頻度 以下の手順で5回中2回失敗。

手順

  1. ...
  2. ...
  3. 問題が起きる手順

気づいた条件 プロモーションコードを適用したカートで失敗。適用しないと成功。 他のブラウザではまだ試していない。

環境 ビルド、プラットフォーム、アカウントの種類。

エビデンス 失敗した実行の時刻、ログの抜粋、リクエスト ID。 ```

核心は「気づいた条件」と「まだ試していない」の行です。何が関わっていると確かめたか、そして同じくらい役に立つこととして、何をまだ確認していないかを開発者に伝えます。

やってはいけないこと

  • 毎回再現できるようになるまで待たない。 頻度といくつかの手がかりを添えた正直なレポートは、何も報告しないより役に立ちます。確実に再現できるようにならないバグもありますが、それでも修正は必要です。
  • 原因の推測を事実のように書かない。 「タイミングの問題のように見えます」なら問題ありません。「競合状態です」は、裏付けられないかもしれない主張です。
  • 起きなくなったからといって、自分のチケットを閉じない。 静かになったバグは、まだそこに残っていることがよくあります。メモを追加して、開いたままにしておきましょう。
  • 成功した実行を省かない。 成功した実行は、エビデンスの半分にあたります。

BugIt の出番

報告者は疲れていて細部がこぼれ落ちていくので、幽霊バグはまさにレポートが薄くなりがちな場面です。BugIt は、すでにお使いのアシスタントの中で動く QA エージェントです。何が起きたかを大まかな一文で伝えると、下書きを書く前に、ビルドや発生頻度など足りない情報を尋ねます。貼り付けたログからはエラー行とスタックを残し、一般的な個人情報をマスクします。ただしこれはベストエフォートなので、下書きがどこかへ送られる前に読んでください。下書きはすべて登録前にあなたが確認し、FILE IT と入力するまで、トラッカーには何も書き込まれません。

bugit.dev と taskivator.com/bugit をご覧ください。

まとめ

間欠的なバグとは、隠れた条件を持つバグです。もう一度実行して回数を数え、一度に1つだけ変え、失敗した実行を時刻とビルドとともに記録し、見たことと、まだ試していないことの両方を書き留めます。道筋だけでなく条件を説明すれば、幽霊は開発者が追いかけられるものになります。

提供中AI アシスタント向け QA エージェント

BugIt

日本語