以前は動いていたのに:リグレッションの報告方法
リグレッションの報告方法:最後に動いていたバージョンを見つけ、最初に失敗したバージョンまで範囲を絞り込み、開発者に調査の出発点を渡します。
「先週は動いていました。」これほど開発者の耳をそばだてさせる言葉は少なく、それだけでこれほど役に立たない言葉も少ないでしょう。以前は正しく動いていた機能が動かなくなることをリグレッションと呼びます。リグレッションは、修正しようとする人にとってはありがたい存在です。貴重なことを教えてくれるからです。コードは一度は正しかった。だから答えは、変わった部分にあるのです。
問題は、「先週は動いていた」が事実ではなく印象にすぎないことです。役に立つものにするには、2つのエビデンスに変える必要があります。最後に動いていたときと、最初に動かなかったときです。その見つけ方と書き方を紹介します。
リグレッションをきちんと報告する価値
通常のバグでは、開発者が何がおかしいのかを突き止めなければなりません。リグレッションなら、開発者は一歩リードした状態から調査を始められます。「ビルド 2.13 では動き、ビルド 2.14 では失敗する」と言えれば、調べる範囲は製品全体から、2つのビルド間の変更にまで狭まります。良いリグレッションのレポートは、長い調査を短く縮めることができます。
ステップ1:本当にリグレッションか確認する
タイトルに「リグレッション」と書く前に、以前の動作が本当にあったものかを確かめます。
- 一度でも動いたことがあるか? 前回は別の手順を使っていたのかもしれませんし、機能フラグや設定が有効だったのかもしれません。
- 同じものか? 以前と同じように見えるページでも、別のルールで動く新しいフローに作り直されている可能性があります。
- データが変わったのではないか? 新しいアカウントや大きなファイルが、以前のデータでは起きなかった何かを引き起こしているのかもしれません。
- 意図された変更ではないか? リリースノートに動作の変更が説明されていることがあります。まずそれを確認してください。
変更が意図的なものだとわかった場合、それはバグではないかもしれません。それでも、リリースノートを引用したレポートは、質問として登録する価値があります。
ステップ2:最後に正常だったバージョンを見つける
古いビルドを実行できるなら、実行してみましょう。問題がなかったと記憶しているバージョンに戻り、同じ手順を実行します。
- そこで動けば、それが最後に正常だったビルドです。
- そこでも失敗するなら、さらにさかのぼるか、リグレッションかどうかを考え直します。
- 古いビルドを実行できない場合は、エビデンスを探します。テスト結果、スクリーンショット、その機能を使っていたお客様からのチケット、成功した実行のログなどです。
「少し前」ではなく、バージョンまたはビルドを書きます。日付も役に立ちますが、ビルド番号は正確です。
ステップ3:最初に不具合が出たバージョンを見つける
次に、正常だったビルドから先へ進み、その間のバージョンをテストします。数が多い場合は、1つずつテストしてはいけません。真ん中のものを選びます。それが動けば、問題はそれより後にあります。失敗すれば、問題はそれより前にあります。残った半分で同じことを繰り返します。電話帳で名前を探すときに真ん中あたりを開くのと同じ考え方で、ビルドが多くても、数回で最初に不具合が出たビルドを見つけられます。
これは開発者でなくてもできます。必要なのは、ビルドにアクセスできることと、毎回同じ手順を実行する根気です。
ステップ4:その間に何が変わったかを記録する
最後に正常だったビルドと最初に不具合が出たビルドがわかったら、その間に何があったかを見ます。原因を突き止める必要はありませんが、数行の背景情報が役に立ちます。
- 最初に不具合が出たビルドのリリースノート。
- 変更された設定、構成、依存関係。
- 同じ領域で追加された、または作り直された機能。
「このリリースでプロモーションコードのフローが作り直された」といった一文は強力な手がかりで、開発者に感謝されるでしょう。
ステップ5:レポートを書く
リグレッションのレポートは、通常のバグレポートに2つの項目を加えたものです。コピーして使える形を紹介します。
``` タイトル:[対象領域] 症状(リグレッション)
最後に正常だったビルド ビルド 2.13.2。以下の手順で期待どおりに動作。
最初に不具合が出たビルド ビルド 2.14.0。以下の手順で失敗。
再現手順
- ...
- ...
- 問題が起きる手順
期待結果 最後に正常だったビルドで起きていたこと。
実際の結果 現在起きていること。
環境 プラットフォーム、アカウントの種類、関係する設定。
エビデンス ログの抜粋、スクリーンショット、リクエスト ID。
その間に変わったこと リリースノートに、プロモーションのフローを作り直したとの記載あり。
関連 以前にこの問題を修正したチケット(あれば)。 ```
関連の項目は忘れがちですが、手間をかける価値があります。リグレッションは古い問題を再び引き起こすことが多く、最初に修正したときのチケットには、どう直したかの経緯が残っています。
役に立つ習慣
- タイトルに「リグレッション」と書く。 そうすれば、トリアージでその領域を変更したチームに振り分けられます。
- 古いチケットにリンクする。 同じ症状が以前に修正されていた場合です。
- ビルド間で手順をまったく同じにする。 そうすれば、公平に比較できます。
- 最初に気づいたバージョンを報告する。 それ以上絞り込めなくても構いません。部分的な答えも答えです。
BugIt の出番
BugIt は、すでにお使いのアシスタントの中で動く QA エージェントです。問題を大まかな一文で伝えると、チームの形式でレポートを書きます。下書きをお見せする前に、トラッカーを読み取り専用で検索して似たチケットを探し、それぞれにスコアを付けます。そのため、同じ症状についての以前のチケットが関連チケットとして浮かび上がることがあります。最後に正常だったビルドのように、あなたにしかわからないことは引き続きあなたが補います。BugIt は、ビルドや発生頻度など、足りない情報を尋ねます。一般的な個人情報はマスクしますが、これはベストエフォートなので、下書きを読んでください。下書きはすべて登録前にあなたが確認し、FILE IT と入力するまで、トラッカーには何も書き込まれません。
詳しくは bugit.dev と taskivator.com/bugit をご覧ください。
まとめ
リグレッションとは、一歩リードした状態から調査を始められるバグです。以前の動作が本当にあったものかを確認し、最後に正常だったビルドを見つけ、範囲を半分ずつ絞り込んで最初に不具合が出たビルドを見つけ、その間に何が変わったかを記録します。両方のビルドをレポートに書き、以前のチケットにリンクすれば、開発者はまずどこを見ればよいかがわかります。