トークンと温度設定の実験から学ぶLLM活用

トークンと温度設定の重要性

大規模言語モデル（LLM）を業務システムに組み込む際、トークン数と温度設定は、コスト、速度、文脈の保持、応答の安定性、そして出力品質に直接影響を与える重要な設計項目です。特に、プロンプトが長くなりがちな場合や、few-shotの例を増やす場合、あるいは大量のログデータを入力する場合、これらの設定値の理解は不可欠となります。

APIレスポンスのusageから学ぶ

OpenAI APIのレスポンスに含まれるresponse.usage.total_tokensは、単に使用量を示すだけでなく、LLMがどれだけの入力を読み、どれだけの出力を生成したかを把握するために重要です。業務システムにLLMを組み込む際には、使用したモデル、入力トークン数、出力トークン数、合計トークン数、finish_reason、実行時間などの情報を記録することが、監査ログとしても機能します。LLMの回答だけでなく、API呼び出し自体の観測も運用に乗せる上で重要となります。

tiktokenによるトークン数計測

tiktokenライブラリを使用することで、APIを呼び出す前に、入力テキストのおおよそのトークン数を確認できます。これにより、「この入力はLLMに渡して問題ないか」「重複ログを削除するとどれくらい削減できるか」「few-shotの例を追加するとどれくらい増えるか」といった感覚を養うことができます。これは、RAG（Retrieval-Augmented Generation）における文書分割にも応用できる考え方であり、LLMに渡す情報を設計する上で役立ちます。

ログの前処理による効率化

大量の障害ログをそのままLLMに渡すと、トークン数は増加しますが、情報価値が必ずしも比例して増えるわけではありません。重複ログを集約したり、イベント別に整理したりすることで、入力トークン数を削減しつつ、重要なイベントを見つけやすくすることが可能です。例えば、ログの発生回数やイベント種別ごとに集約することで、LLMへの入力情報を整理できます。実務では、最初の発生時刻や最後の発生時刻、装置種別なども考慮した前処理が有効と考えられます。

温度設定による出力の安定性

障害分類やJSON生成のようなタスクでは、表現の多様性よりも出力の安定性が重要視される場合があります。このような場合、ログを前処理した上で、低いtemperature設定で試すことが現実的なアプローチとなります。temperatureは、LLMの出力のランダム性を制御するパラメータであり、低い値ではより予測可能で一貫性のある出力が得られやすくなります。

まとめ

LLMの活用においては、トークン数とtemperature設定は、単なる技術的なパラメータではなく、システム全体のコスト、パフォーマンス、そして出力品質を左右する設計上の重要な要素です。ログのような大量のテキストデータを扱う際には、適切な前処理とこれらのパラメータの調整を通じて、LLMの能力を最大限に引き出すことが求められます。

出典: https://qiita.com/bahamutra/items/61abbcaf99096e85c1a0