GPT-5.6への更新で判定役の挙動はどう変わったか

このツールの変更点と影響

AIモデルの更新は、既存のパイプラインに予期せぬ影響を与えることがあります。本記事では、判定役として利用されていたモデルがGPT-5.5からGPT-5.6へ更新された際に発生した具体的な変化と、その原因、そして対策について、実測データに基づいて解説します。

モデル更新時の予期せぬ挙動

テスト設計の検証パイプラインにおいて、異なるベンダーのモデルを「判定役」として組み込むことは、自己選好バイアスによる見逃しを防ぐための有効な手段です。GPT-5.6の公開に伴い、判定役を新しいモデルに置き換えたところ、当初の期待とは異なり、パイプラインが「壊れる」という事態が発生しました。具体的には、本来検出されるべき欠陥を見逃さない「検出力」は維持されていたものの、正常な項目までをも「欠陥である」と誤判定するケースが大幅に増加しました。

事故発生のメカニズム

この問題の根本原因を探る過程で、モデル自体の能力低下ではなく、判定の「定義」が曖昧であったことが浮き彫りになりました。判定役は、Codex CLI経由で呼び出されており、「CLIの既定に追従」する設定になっていました。GPT-5.6対応のためにCLIを更新した結果、意図せず既定モデルがGPT-5.6に切り替わってしまったのです。これは、外部の判断によってパイプラインの挙動が変更されるリスクを示唆しています。

測り方：判定役専用の正解セット

モデルの挙動変化を正確に把握するため、判定役専用の小さな正解セット（GT corpus）が用意されました。このセットは以下の要素で構成されています。

• 陽性3ケース：意図的に算術エラーなどを仕込んだテスト設計項目。判定役は「refute」（欠陥あり）と判定するのが正解。埋没度の異なる3段階で用意。
• 健全3ケース：陽性ケースと対になる、内容が正しい項目。ただし、判定役には「高リスク」として渡され、「uphold」（誤警報）と判定するのが正解。

各ケースは3回ずつ独立して判定され、結果は「x/3」で示されます。健全ケースへの誤った「refute」は「cry-wolf」（狼少年）としてカウントされ、判定役の信頼性を評価する上で重要な指標となります。

結果その1：検出力は無傷、精度は崩壊

GPT-5.5（対照）とGPT-5.6（sol、terraの2グレード）でテストを実行した結果、以下のようになりました。

• 陽性の検出：全モデルで9/9を検出。算術根拠も正確に引用しており、検出力に劣化は見られませんでした。
• 健全への誤refute：GPT-5.5は5/9でしたが、GPT-5.6（sol、terra）は両方とも9/9と、全ての健全ケースで誤判定を起こしました。
• 一致率：GPT-5.5は72%でしたが、GPT-5.6は50%となり、コイン投げと同等の情報量しか持たない状態となりました。

この結果から、GPT-5.6は正常な項目に対しても高い確信度（0.98〜0.99）で「refute」と判定するようになり、精度が著しく低下したことがわかります。検出力だけを見ていれば、この問題は見過ごされていた可能性が高いです。

結果その2：プロンプト修正による改善の試み

GPT-5.6の誤判定の原因が、仕様原文を参照しない「姿勢の変化」と「迷ったらrefute」という指示の字義通りの適用にあると推測され、以下の3種類のプロンプト修正を試みました。

• spec_inline：仕様原文をプロンプトに同梱。
• file_access：「作業ディレクトリの仕様ファイルを必ず読んで突き合わせよ」と指示。
• refute_criteria：「refuteは具体的欠陥特定時のみ」と指示。

結果として、「spec_inline」が最も効果的で、短文の健全ケースにおける誤refuteを解消しました。しかし、「file_access」は部分的な改善に留まり、「refute_criteria」は効果がありませんでした。

さらなる発見：モデル間の挙動収束と未定義の穴

「spec_inline」をGPT-5.5にも適用したところ、GPT-5.6と同様の挙動を示し、さらにGPT-5.5単体の場合よりも一致率が悪化するという結果になりました。これは、仕様原文を完全に渡すと、どのモデルもテスト項の記述と仕様原文の厳格な突き合わせ監査を行うようになり、テストケースに含まれる装飾的な記述（仕様に書かれていないこと自体を突く）が誤判定の原因となることを示唆していました。この誤判定の原因は、モデルやプロンプトではなく、「何を欠陥と定義していたか」という、測定側の未定義の穴であったことが判明しました。

裁定範囲の定義による改善

そこで、「裁定対象は期待結果の実質主張に限る」という裁定範囲の定義を追加しました。この定義により、GPT-5.5は72%から89%へ一致率が向上し、初めて信頼性の規範値を超えました。GPT-5.6（terra）も「原文同梱＋裁定範囲定義」の組み合わせで50%から89%へ回復しました。この結果は、モデルを一切変更せず、判定の定義を明確化することの重要性を示しています。

運用上の教訓

今回の実測から、以下の5つの教訓が得られました。

• 「既定に追従」設定は、判定役においては事故の原因となりうる。
• モデルは更新のたびに「姿勢」が変わる可能性があるため、バージョンを固定し、更新は慎重に検証する必要がある。
• 検出力だけを見ていては、精度の崩壊を見逃す。健全対照（正しいものを正しいと言えるか）とセットで評価することが不可欠。
• 常に「refute」と判定するモデルでも、検出率だけなら満点を取れる。
• 強いモデル＝必ずしも良い判定役とは限らない。指示への向き合い方や確信度の較正など、モデルの特性を理解することが重要。

最終的な運用結論として、本番環境ではGPT-5.5（バージョンピン留め）と裁定範囲定義の組み合わせが採用されました。GPT-5.6の活用可能性も見えましたが、仕様の長い実プロジェクトへの一般化には、仕様の抜粋渡し設計が必要と判断されました。

出典: https://zenn.dev/mumihatsu/articles/23a4a9311fbfd5