ログファイルからバグを再現する:探偵流の手引き
ログの中で失敗した瞬間を見つけ、必要な部分だけに絞り込み、繰り返せる手順に変えて、安全に共有する方法。
ユーザーからこんな報告が届きます。「壊れました。どうしてかはわかりません。」思いつくことを試しても、何も起きません。バグは実在し、ユーザーはいら立っていて、唯一の目撃者は、数千行もあるログファイルです。
朗報があります。ログは嘘をつけない目撃者です。ただ、話し方が不明瞭なだけです。少し手順を踏めば、問題が起きた瞬間を見つけ、その前後の手がかりを読み取り、別の人がたどれる手順に変えられます。その方法を紹介します。
ステップ1:犯行時刻を特定する
まずは時刻から始めます。いつ起きたかを報告者に尋ねるか、チケットのタイムスタンプを使い、その時間帯のログを検索します。いちばん目立つ行ではなく、警告またはエラーレベルの最初の行を探してください。最初のエラーが原因であることはよくあります。その後に続くエラーは、多くの場合、プログラムが被害に反応しているだけです。
リクエスト ID、セッション ID、ユーザー ID があれば、それで検索します。1つの ID をログの中で追いかけると、文字の壁が、始まりと中盤と終わりのある1つの物語に変わります。
ステップ2:スタックを上から読む
例外の行からは、エラーの種類とメッセージがわかります。その下のフレームは、プログラムがどこにいたかを示しています。自分たちのコードに属する最初のフレームに行き着くまで、下へ読み進めてください。そこに、見るべきファイルと行が書かれているからです。
`` 12:04:13 ERROR TypeError: plan.period is undefined at applyPromo (pricing.ts:88) at updateTotal (cart.ts:41) at onPromoSubmit (checkout.ts:130) ``
この例では、失敗は applyPromo で起きています。これはカートの合計の処理から呼ばれ、その処理はプロモーションコードが送信されたときに呼ばれています。これだけで、最初の手順に使う動詞が手に入りました。「カートにプロモーションコードを適用する」です。
ステップ3:直前に何があったかを見る
エラーの前の行は、プログラムがどんな状態にあったかを示しています。少し前に設定が変わったのかもしれません。値を持っていない場所から値を読み込んだのかもしれません。この例なら、数行上に、請求期間が月払いから年払いに切り替えられた記録があるかもしれません。それが、失敗につながった入力についての手がかりです。
目にした値を書き留めます。プラン名、入力したコード、変更した設定、操作の順番です。順番は重要です。A の後に B をしないと起きないバグは、B の後に A をしても現れません。
ステップ4:手がかりを手順に変える
これで、人がたどれる手順を書くのに十分な材料がそろいました。
- ログに出てくる順番で、ユーザーの操作を書きます。
- 特定の1人に固有のものは、テスト用アカウントのように、テスターが使い回せる代わりのものに置き換えます。
- プロモーションコードやプランなど、関係がありそうな値は残します。それ以外は削ります。
- 手順を実行します。同じエラーが出れば、再現できたことになります。出なければ、ビルド、アカウントの種類、データ、順番のうち、一度に1つだけ変えてみます。
一度に1つだけ変えるのは遅く感じますが、実は速いやり方です。3つ同時に変えると、うまくいっても何もわかりません。
ステップ5:発生頻度を数える
手順を何回か実行し、結果を記録します。毎回起きる失敗は、ロジックの不具合を示しています。ときどきしか起きない失敗は、タイミングや負荷、あるいは実行ごとに異なるデータが原因であることがよくあります。開発者がどこから調べ始めるかが変わるので、頻度をレポートに書いてください。
ステップ6:共有する前にログを絞り込む
チケットに添付したログは、思っているより多くの人に読まれます。そして、トラッカーに置くべきではない情報が含まれていることがあります。
- 役に立つ部分を残す。 エラー行、スタック、その前の数行です。抜粋がファイルのどこから来たものかも書きます。
- 個人情報をマスクする。 メールアドレス、名前、個人を特定できるものです。
- 秘密情報をマスクする。 アクセストークン、API キー、パスワードです。チケットに書かれたトークンは、そのチケットを開ける人なら誰でも読めます。
- 自分の目で確認する。 自動マスクは役に立ちますが、ベストエフォートなので、添付する前に結果を確認してください。
チケットに書くこと
見つけた手順、期待していた結果、実際に起きたこと、ビルド、発生頻度を書き、絞り込んだ抜粋を添付します。これを読んだ開発者は、数時間ではなく数分で問題を再現できます。型が欲しい場合は、バグレポートのテンプレートで各項目を順に説明しています。
BugIt の出番
ログを読むのは身につける価値のあるスキルですが、ログが長いと面倒な作業でもあります。ログを BugIt に貼り付けると、重要なエラー行とスタックを残して周りのノイズを省き、見つけた内容をもとに手順と環境を下書きに書き込みます。BugIt は一般的な個人情報をマスクしますが、これはベストエフォートなので、登録される前に下書きを読んでください。下書きはすべてあなたが確認し、FILE IT と入力するまで、トラッカーには何も書き込まれません。
詳しくは bugit.dev と taskivator.com/bugit をご覧ください。
まとめ
最初のエラーを見つけ、スタックを上から読み、直前に何があったかを確認し、ログに出てくる順番で手順を書きます。バグが再現しないときは一度に1つだけ変え、発生頻度を記録し、共有する前にログを絞り込んでマスクします。ログは辛抱強い目撃者です。正しく質問すれば、問題を再現する方法を教えてくれます。