Claude APIで採点のブレを消す200行プロンプトの設計思想

このツールでできること

AI面接練習アプリ「MENREN」では、面接の回答を5つの評価軸で採点し、フィードバックを提供しています。この機能を実現するために、Claude APIを活用し、詳細な採点基準をシステムプロンプトに組み込むことで、AIによる採点のブレを解消しました。

料金プラン

公式サイトで最新情報を確認してください。

使い方の概要

Claude APIの基本的な呼び出しは、RailsとHTTPartyライブラリを使用して行われます。ユーザーからの質問と回答テキストをAPIに渡し、システムプロンプトで定義された役割、採点基準、および出力形式に基づいて、AIが構造化された採点結果を返します。

魔法の大部分は、システムプロンプトにあります。システムプロンプトでは、AIに「転職面接の回答を評価する専門家」という役割を与え、「採点スコア評価項目定義書 v1.0」に基づき、5つの評価軸（構造性・論理性、具体性、意欲、自己認識、表現力）について、具体的な判定ポイントと採点基準を詳細に定義しています。この採点基準の定義だけで約200行に及びます。

さらに、出力形式として、回答テキストの修正、各評価軸のスコア、採点根拠（良い点、改善点、次の一歩）、総合点、コメント（良かった点、改善点）、メタデータ、改善後のスクリプトを含むJSON形式を明示しています。特に、スコアだけでなく、その根拠を詳細に返すことで、なぜその点数になったのかを明確にしています。

どんな人に向いているか

AIによる採点の安定性を高めたい開発者や、詳細なフィードバック生成システムを構築したいと考えている方に適しています。

競合ツールとの位置づけ

ChatGPTと比較して、Claude APIは長文のプロンプトに対しても指示に忠実に従う傾向があり、構造化されたJSON出力を安定して取得する点で優れています。特に、複雑な採点基準や詳細な指示を含むプロンプトにおいて、その能力を発揮します。

まとめ

Claude APIで構造化された出力を安定して得るためには、システムプロンプトで「役割」「採点基準」「出力形式」を明確に指示することが重要です。プロンプトは長くなっても構いません。採点基準を具体的に記述することで、AIの採点ブレを小さくできます。また、AIの出力は鵜呑みにせず、バリデーションと正規化を丁寧に行うことが不可欠です。200行を超えるプロンプトでも、Claude APIは指示に正確に従い、安定した結果を提供します。

出典: https://zenn.dev/funxxfun/articles/3073333983f76c