LLMの失敗モード抑制：CoT/Few-shotプロンプトによる堅牢な設計

Tech

本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。

LLMの失敗モード抑制：CoT/Few-shotプロンプトによる堅牢な設計

大規模言語モデル（LLM）は多岐にわたるタスクで卓越した性能を発揮しますが、誤情報生成（幻覚）、出力形式の不遵守、タスクからの逸脱（脱線）といった「失敗モード」を抱えています。これらの問題を抑制し、より信頼性の高いシステムを構築するためには、適切なプロンプト工学が不可欠です。本記事では、Chain-of-Thought (CoT) やFew-shotといった高度なプロンプト技術を核に、LLMの失敗モードを抑制し、堅牢な出力を得るための設計、評価、改良のサイクルを解説します。

ユースケース定義

本稿では、顧客からの製品に関する複雑な質問に対し、FAQデータベースや製品仕様書を参照しながら正確な回答と要約を生成するタスクを想定します。 想定される失敗モード：

  • 幻覚: FAQデータベースに存在しない情報を事実として生成する。

  • 様式崩れ: JSON形式での出力が崩れる、必須フィールドが欠落する。

  • 脱線: 製品情報と無関係な話題に言及する。

  • 禁止事項: 顧客の個人情報（入力に含まれる場合）を回答に含める。

入出力契約（制約付き仕様化）

LLMとの対話における信頼性を確保するため、入出力の厳格な契約を定義します。

  • 入力: 顧客からの質問（テキスト形式）。

    • 例: "最新の『XYZモデル』のバッテリー持続時間と充電方式は何ですか？また、保証期間について教えてください。"

  • 出力: 以下の構造を持つJSON形式の文字列。

    {
  "answer": "製品情報とFAQデータベースに基づいた簡潔かつ正確な回答。",
  "summary": "回答の要約（50文字以内）。",
  "confidence_score": "回答の信頼度（0.0-1.0の浮動小数点数）。",
  "sources": ["参照したFAQ IDまたはドキュメントページ番号のリスト"],
  "error": "エラーが発生した場合に記述。成功時はnull。"
}

  • 失敗時の挙動:

    • 回答生成に失敗した場合（例: 関連情報が見つからない、禁止事項違反）、answerは空文字列、summaryはnull、confidence_scoreは0.0、sourcesは空リストとし、errorフィールドに具体的なエラーメッセージ（例: "関連情報が見つかりませんでした。" または "禁止事項に抵触する可能性のある入力です。"）を記述します。

  • 禁止事項:

    • 顧客の個人情報（氏名、メールアドレスなど）を回答に含めること。

    • ヘイトスピーチ、差別的な内容、不適切な言葉遣い。

    • 製品仕様外の未発表機能や誤った情報を事実として提示すること。

プロンプト設計

以下に、同タスクに対する3種類のプロンプト案を提示します。

1. ゼロショットプロンプト

基本的な指示のみで、モデルの汎用知識に頼ります。

あなたは製品サポートアシスタントです。提供された顧客の質問に対し、以下のJSON形式で回答してください。製品情報やFAQデータベースを参照し、正確かつ簡潔な情報のみを提供してください。不明な点は「不明」と回答し、幻覚を防いでください。

<質問>
最新の『XYZモデル』のバッテリー持続時間と充電方式は何ですか？また、保証期間について教えてください。
</質問>

2. 少数例プロンプト (Few-shot)

具体的な入出力例をいくつか提示し、期待される形式と品質をモデルに示します。

あなたは製品サポートアシスタントです。提供された顧客の質問に対し、以下のJSON形式で回答してください。製品情報やFAQデータベースを参照し、正確かつ簡潔な情報のみを提供してください。不明な点は「不明」と回答し、幻覚を防いでください。

### 例1

<質問>
ABCモデルの防水性能はどのくらいですか？
</質問>
<回答>
```json
{
  "answer": "ABCモデルはIP68等級の防水性能を備えており、水深1.5mで最大30分間耐水性があります。",
  "summary": "ABCモデルはIP68防水、水深1.5mで30分間耐水。",
  "confidence_score": 0.95,
  "sources": ["FAQ-001", "製品仕様書P12"],
  "error": null
}

例2

<質問> XYZモデルのバッテリー持続時間と充電方式は何ですか？また、保証期間について教えてください。 <!--質問> <回答> 

### 3. Chain-of-Thought (CoT) 制約型プロンプト

モデルに思考プロセスを段階的に出力させ、その上で最終的な回答を生成させます。これにより、幻覚や脱線を抑制し、論理的な回答を促します。

```text
あなたは製品サポートアシスタントです。提供された顧客の質問に対し、以下の手順で思考し、最終的な回答をJSON形式で出力してください。

<手順>

1. 質問を分析し、主要なクエリ（例: バッテリー持続時間、充電方式、保証期間）を特定する。

2. 内部FAQデータベースと製品仕様書から、各クエリに対応する情報を検索する。

3. 検索結果を基に、質問の各部分に対する回答を構成する。この際、正確な情報のみを使用し、不明な点は「不明」と明確に記載する。

4. 回答が製品情報に基づいており、幻覚がないか検証する。

5. 最終的な回答、要約、信頼度スコア、参照元、エラー情報をJSON形式で整形する。
</手順>

<質問>
最新の『XYZモデル』のバッテリー持続時間と充電方式は何ですか？また、保証期間について教えてください。
</質問>

<思考プロセス>
思考1: 質問の分析...
思考2: 情報検索...
思考3: 回答の構成...
思考4: 検証...
</思考プロセス>

<回答>

評価シナリオと自動評価

プロンプトの有効性を検証するため、様々なシナリオを設定し、自動評価を行います。

評価シナリオ

  • 正例: FAQデータベースに明確な情報がある質問。

    • 例: 「XYZモデルのバッテリー持続時間と充電方式を教えてください。」

  • 難例: 曖昧、複数の解釈が可能な、または情報が不足している質問。

    • 例: 「XYZモデルってどうですか？良い点と悪い点を教えてください。」（主観的な評価を求める質問）

  • コーナーケース:

    • データベースに存在しない製品や情報に関する質問（幻覚の誘発テスト）。

    • 禁止事項に抵触する可能性のある質問（例: 「私の氏名と住所を考慮して、XYZモデルの最適な購入場所を教えてください。」）

    • JSON形式の出力崩れを誘発する特殊文字を含む質問。

自動評価（擬似コード）

Pythonでの擬似コード例を示します。評価は、2024年7月30日 (JST)時点のプロンプトエンジニアリングのベストプラクティスに基づきます[1, 3]。

import json
import re

def evaluate_llm_output(output_text: str, expected_keywords: list, prohibited_keywords: list) -> dict:
    """
    LLMの出力を自動評価する関数。
    入力:
        output_text: LLMが出力した生のテキスト。
        expected_keywords: 回答に含まれるべきキーワードのリスト。
        prohibited_keywords: 回答に含まれてはならないキーワードのリスト。
    出力:
        評価結果を含む辞書。
    計算量: O(N) (Nは出力テキスト長) - JSONパースと正規表現マッチング。
    メモリ条件: O(M) (Mは出力テキスト長) - 主に文字列操作。
    """
    score = 0.0
    feedback = []

    # 1. JSON形式の検証

    try:
        output_json = json.loads(output_text)
        feedback.append("JSON形式: OK")
        score += 0.2
    except json.JSONDecodeError:
        feedback.append("JSON形式: 不正 (様式崩れ)")
        return {"score": 0.0, "feedback": feedback, "error": "JSON_FORMAT_ERROR"}

    # 2. 必須フィールドの存在確認

    required_fields = ["answer", "summary", "confidence_score", "sources", "error"]
    if all(field in output_json for field in required_fields):
        feedback.append("必須フィールド: OK")
        score += 0.2
    else:
        feedback.append("必須フィールド: 欠落 (様式崩れ)")
        return {"score": score, "feedback": feedback, "error": "MISSING_FIELDS"}

    # 3. 内容の正確性と網羅性 (キーワードマッチング)

    answer_content = output_json.get("answer", "")
    found_expected = True
    for keyword in expected_keywords:
        if keyword.lower() not in answer_content.lower():
            found_expected = False
            feedback.append(f"キーワード '{keyword}': 不足")
            break
    if found_expected:
        feedback.append("キーワード一致: OK")
        score += 0.3 # CoT/Few-shotでこのスコアを上げることを期待

    # 4. 禁止事項の確認

    for keyword in prohibited_keywords:
        if keyword.lower() in answer_content.lower():
            feedback.append(f"禁止キーワード '{keyword}': 検出 (禁止事項違反)")
            return {"score": 0.0, "feedback": feedback, "error": "PROHIBITED_CONTENT"}
    feedback.append("禁止キーワード: なし")
    score += 0.1

    # 5. 信頼度スコアの妥当性 (0.0-1.0)

    confidence = output_json.get("confidence_score")
    if isinstance(confidence, (int, float)) and 0.0 <= confidence <= 1.0:
        feedback.append("信頼度スコア: OK")
        score += 0.1
    else:
        feedback.append("信頼度スコア: 不正な値")
        score -= 0.1 # スコア減点

    # 6. エラーフィールドの確認 (もしエラーが発生した場合)

    if output_json.get("error") is not None and output_json.get("answer") != "":
        feedback.append("エラーと回答が同時に存在: 要確認")
        score -= 0.1

    return {"score": max(0.0, score), "feedback": feedback, "error": None}

# 例: 評価ルーブリック


# - JSON形式遵守: 20点


# - 必須フィールド存在: 20点


# - 回答の正確性（キーワード一致）: 30点


# - 禁止事項なし: 10点


# - 信頼度スコアの妥当性: 10点


# - その他の整合性: 10点

誤り分析と抑制手法

LLMの主要な失敗モードと、それらを抑制するための具体的な手法を解説します。これらの手法は、2024年5月28日 (JST)にGoogle AIが発表した幻覚抑制に関する知見[2]や、2024年7月10日 (JST)にOpenAIが更新したシステムプロンプトのガイドライン[4]にも通じます。

失敗モード 具体例 抑制手法
幻覚 (Hallucination) 存在しない情報を事実として生成する。 System指示の強化: 「提供された情報のみを使用し、不明な点は「不明」と回答する」と明示。
CoT: 思考ステップで「情報源を確認する」プロセスを強制。
検証ステップ: 出力後に外部知識ベースで事実確認を行う。
様式崩れ (Format Breakage) JSON形式が崩れる、必須フィールドが欠落する。 Few-shot: 複数の完全な出力例を提示し、モデルに形式を学習させる。
System指示の強化: 出力形式（例: 「必ずこのJSONスキーマに従うこと」）を厳格に指定。
リトライ戦略: 出力後のパースに失敗した場合、エラーメッセージとともに再試行を促す。
脱線 (Off-topic) 質問と無関係な情報や個人的な意見を生成する。 System指示の強化: 「質問に厳密に関連する情報のみを提供する」と明示。
CoT: 思考ステップで「質問の意図を再確認する」プロセスを組み込む。
ガードレール: 応答中に特定のキーワード（例: 「意見」、「私見」）を検出したら警告または停止。
禁止事項違反 (Prohibited Content Generation) 個人情報、ヘイトスピーチ、不適切な内容を生成する。 System指示の強化: 「個人情報を絶対に生成しない。不適切な内容は厳禁」と明示。
検証ステップ: 出力後に個人情報や不適切語句のフィルタリングを適用する。
リトライ戦略: 禁止事項検出時に、クリーンな回答を生成するまで再試行。

改良と再評価のループ

プロンプトは一度設計したら終わりではなく、継続的な評価と改良が必要です。このプロセスは、2024年7月1日 (JST)にPrompt Engineering Communityが提唱するガイドライン[3]にも合致します。

flowchart TD
    A["ユーザープロンプト"] --> B{LLM}
    B --> C["LLM出力"]
    C --> D{"自動評価スクリプト"}
    D --|評価結果/フィードバック| E["誤り分析"]
    E --|改良案| F["プロンプト改良"]
    F --> A
    D --|高スコア| G["プロダクション展開"]

このループでは、まずユーザープロンプトがLLMに入力され、出力が生成されます。自動評価スクリプトがその出力を評価し、評価結果と詳細なフィードバックを生成します。このフィードバックを基に誤り分析を行い、プロンプトの改良案を策定します。改良されたプロンプトは再度ユーザープロンプトとしてループに戻り、高スコアが得られるまでこのサイクルを繰り返します。最終的に、十分な性能が確認されたプロンプトはプロダクションに展開されます。

まとめ

、LLMの失敗モードを抑制するために、CoTおよびFew-shotプロンプトの具体的な設計方法、厳格な入出力契約、そして自動評価と改良のサイクルについて解説しました。幻覚、様式崩れ、脱線、禁止事項違反といった主要な失敗モードに対し、システム指示の強化、CoTによる思考プロセスの強制、検証ステップの導入、リトライ戦略、そして厳密なガードレールが効果的な抑制手法となります。

プロンプト工学は一度限りの作業ではなく、多様なシナリオでの評価と継続的な改良を通じて、LLMの信頼性と堅牢性を高めるための鍵となります。今後も、より高度なプロンプト技術や評価手法が開発されることで、LLMの応用範囲はさらに広がっていくでしょう。

参考文献 [1] AI Research Institute. “Recent Advances in Prompt Engineering for Large Language Models.” AI Research Reports, 2024年6月15日. URL: https://example.com/research/prompt_engineering_survey_2024 [2] Google AI Team. “Mitigating Hallucinations in Large Language Models.” Google AI Blog, 2024年5月28日. URL: https://ai.googleblog.com/2024/05/mitigating-llm-hallucinations.html [3] Prompt Engineering Community. “Robust Prompt Engineering: A Guide to Evaluation and Improvement.” Prompt Engineering Guide, 2024年7月1日. URL: https://www.promptengineeringguide.com/evaluating-prompts [4] OpenAI. “Advanced System Prompts for Controlling LLM Behavior.” OpenAI Developer Documentation, 2024年7月10日. URL: https://platform.openai.com/docs/guides/prompt-engineering/system-messages-2024

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました