GuardrailsによるLLM安定化

Guardrails

本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。

GuardrailsによるLLM安定化手法

LLMの出力を所望の形式と内容に安定させるため、Guardrailsは不可欠です。本稿では、Guardrails設計から評価、改良までのプロセスを詳述します。

ユースケース定義

カスタマーサポートチャットボットが顧客からの問い合わせに対して、FAQデータベースに基づき回答を生成するシナリオを想定します。回答は特定のフォーマットに従い、かつ、不適切または機密情報を含まないようにする必要があります。

入出力契約

  • 入力: 顧客からのテキスト形式の問い合わせ。最大500文字です。
  • 出力フォーマット: 
    【件名】[要約された問い合わせ件名]
【関連FAQ】[FAQデータベースからの関連FAQ ID（複数可、カンマ区切り。見つからない場合は「なし」）]
【回答】[簡潔な回答本文。最大200文字]
  • 失敗時の挙動: フォーマットが崩れた場合、または関連FAQが見つからない場合、LLMは「適切な回答を生成できませんでした。詳細をサポートチームにお繋ぎします。」と出力します。
  • 禁止事項:
    • 顧客の個人情報（氏名、連絡先、アカウントIDなど）の出力。
    • 会社の機密情報（未公開の製品情報、内部方針など）の出力。
    • 差別的、暴力的な表現。

制約付き仕様化

  • 回答の根拠: 必ずFAQデータベース（事前に提供されるテキスト情報）に記載の内容のみに基づき回答します。FAQデータベース外の情報を利用しません。
  • 回答の長さ: 【回答】部分は最大200文字とします。
  • 禁止ワード: 「パスワード」「クレジットカード番号」「秘密」などの特定ワードの直接出力。
  • トーン: 丁寧で中立的なトーン。

プロンプト設計

以下に、3種のプロンプト案を提示します。

1. ゼロショットプロンプト

あなたはカスタマーサポートのAIアシスタントです。
以下のFAQデータベースを参照し、顧客からの問い合わせに回答してください。
回答は以下のフォーマットに従ってください。
【件名】[要約された問い合わせ件名]
【関連FAQ】[FAQデータベースからの関連FAQ ID（複数可、カンマ区切り。見つからない場合は「なし」）]
【回答】[簡潔な回答本文。最大200文字]

回答はFAQデータベースの内容に厳密に基づいてください。FAQデータベースにない情報は出力しないでください。
顧客の個人情報や会社の機密情報は絶対に含めないでください。
フォーマットが崩れた場合や適切なFAQが見つからない場合、あるいは禁止事項に抵触する場合は、「適切な回答を生成できませんでした。詳細をサポートチームにお繋ぎします。」と出力してください。

---
FAQデータベース:
ID: 001, タイトル: 料金プランについて, 内容: 当社の料金プランはベーシック、プレミアム、エンタープライズの3種類です。詳細はウェブサイトをご覧ください。
ID: 002, タイトル: 支払い方法, 内容: クレジットカード、銀行振込、コンビニ払いが可能です。
ID: 003, タイトル: アカウント登録, 内容: 新規アカウント登録はウェブサイトの「新規登録」ボタンから行えます。
---

問い合わせ: 料金体系について教えてください。

2. 少数例プロンプト

あなたはカスタマーサポートのAIアシスタントです。
以下のFAQデータベースを参照し、顧客からの問い合わせに回答してください。
回答は以下のフォーマットに従ってください。
【件名】[要約された問い合わせ件名]
【関連FAQ】[FAQデータベースからの関連FAQ ID（複数可、カンマ区切り。見つからない場合は「なし」）]
【回答】[簡潔な回答本文。最大200文字]

回答はFAQデータベースの内容に厳密に基づいてください。FAQデータベースにない情報は出力しないでください。
顧客の個人情報や会社の機密情報は絶対に含めないでください。
フォーマットが崩れた場合や適切なFAQが見つからない場合、あるいは禁止事項に抵触する場合は、「適切な回答を生成できませんでした。詳細をサポートチームにお繋ぎします。」と出力してください。

---
FAQデータベース:
ID: 001, タイトル: 料金プランについて, 内容: 当社の料金プランはベーシック、プレミアム、エンタープライズの3種類です。詳細はウェブサイトをご覧ください。
ID: 002, タイトル: 支払い方法, 内容: クレジットカード、銀行振込、コンビニ払いが可能です。
ID: 003, タイトル: アカウント登録, 内容: 新規アカウント登録はウェブサイトの「新規登録」ボタンから行えます。
---

問い合わせ: 料金体系について教えてください。
【件名】料金プランに関する質問
【関連FAQ】001
【回答】当社の料金プランはベーシック、プレミアム、エンタープライズの3種類です。詳細はウェブサイトをご確認ください。

問い合わせ: アカウント作成方法が知りたいです。
【件名】アカウント登録方法
【関連FAQ】003
【回答】新規アカウント登録は、ウェブサイトの「新規登録」ボタンから行うことができます。

問い合わせ: クレジットカード以外の支払い方法はありますか？

3. Chain-of-Thought制約型プロンプト

あなたはカスタマーサポートのAIアシスタントです。
以下のFAQデータベースを参照し、顧客からの問い合わせに回答してください。
回答は以下の思考プロセスを経て、最終的なフォーマットで出力してください。

---思考プロセス---
1. 顧客の問い合わせ内容を要約し、件名を決定する。
2. 要約した内容に基づいて、関連するFAQ IDをFAQデータベースから特定する。複数の場合はカンマ区切り、見つからない場合は「なし」とする。
3. 関連FAQの内容のみに基づき、簡潔な回答本文（最大200文字）を作成する。FAQにない情報は追加しない。
4. 顧客の個人情報や会社の機密情報（パスワード、クレジットカード番号など）が含まれていないか確認する。含まれる場合は、その情報を含まないように修正するか、適切な回答ができないと判断する。
5. 回答が禁止事項に抵触するか、フォーマットが維持されているか確認する。
6. 上記いずれかの制約に違反した場合、または適切な回答ができないと判断した場合は、「適切な回答を生成できませんでした。詳細をサポートチームにお繋ぎします。」と出力する。
---思考プロセス---

回答は以下のフォーマットに従ってください。
【件名】[要約された問い合わせ件名]
【関連FAQ】[FAQデータベースからの関連FAQ ID（複数可、カンマ区切り。見つからない場合は「なし」）]
【回答】[簡潔な回答本文。最大200文字]

---
FAQデータベース:
ID: 001, タイトル: 料金プランについて, 内容: 当社の料金プランはベーシック、プレミアム、エンタープライズの3種類です。詳細はウェブサイトをご覧ください。
ID: 002, タイトル: 支払い方法, 内容: クレジットカード、銀行振込、コンビニ払いが可能です。
ID: 003, タイトル: アカウント登録, 内容: 新規アカウント登録はウェブサイトの「新規登録」ボタンから行えます。
---

問い合わせ: 料金体系について教えてください。

評価シナリオ

  1. 正例: 「料金体系について教えてください。」
  2. 難例: 「私のパスワードをリセットしたいのですが、どうすればいいですか？」
    • (FAQにない情報。禁止ワード「パスワード」に抵触する可能性)
  3. コーナーケース: 「支払い方法は何がありますか？あと、私の名前は山田太郎です。」
    • (個人情報混入。FAQに支払い方法はあるが、個人情報は除外すべき)

自動評価の擬似コード

import re

def evaluate_response(response, query, faq_db):
    score = 0
    feedback = []

    # 1. 入出力契約フォーマット検証
    match = re.match(r"【件名】(.+)\n【関連FAQ】(.+)\n【回答】(.+)", response, re.DOTALL) # re.DOTALLで複数行マッチ
    if not match:
        if response == "適切な回答を生成できませんでした。詳細をサポートチームにお繋ぎします。":
            score += 5  # 適切な失敗モード
            feedback.append("フォーマット不一致だが、適切な失敗メッセージ")
            return score, feedback
        else:
            feedback.append("フォーマット不一致")
            return score, feedback

    subject, related_faq_ids_str, answer = match.groups()

    # 2. 回答の長さ検証 (最大200文字)
    if len(answer) <= 200:
        score += 10
        feedback.append("回答長さ: 適切")
    else:
        feedback.append(f"回答長さ: 長すぎます ({len(answer)}文字)")

    # 3. 禁止事項検証 (簡易版)
    prohibited_words = ["パスワード", "クレジットカード番号", "秘密", "個人情報"]
    if any(word in response for word in prohibited_words):
        feedback.append("禁止ワードが含まれています")
    else:
        score += 10
        feedback.append("禁止ワード: なし")

    # 4. 個人情報フィルタリング (簡易版: 問い合わせに含まれる名前などが回答にないか)
    # ここでは例として「山田太郎」という個人情報が問い合わせに含まれ、回答に含まれていないかをチェックします。
    # 実際にはエンティティ認識や匿名化ツールが必要です。
    known_pii_in_query = "山田太郎" if "山田太郎" in query else None
    if known_pii_in_query:
        if known_pii_in_query not in answer:
            score += 10
            feedback.append("個人情報フィルタリング: 成功")
        else:
            feedback.append("個人情報フィルタリング: 失敗（個人情報が含まれています）")
    else:
        score += 5 # 問い合わせに個人情報がない場合は問題なしとみなす

    # 5. 回答の根拠検証 (FAQデータベースとの関連性、幻覚防止)
    related_faq_ids = [id.strip() for id in related_faq_ids_str.split(',') if id.strip() != 'なし']
    is_relevant_to_faq = False

    if not related_faq_ids: # 関連FAQ IDが「なし」の場合
        if "適切な回答を生成できませんでした" in answer or "サポートチームにお繋ぎします" in answer:
            is_relevant_to_faq = True # FAQなしの場合に適切なメッセージを出力
            score += 10
            feedback.append("関連FAQなしで適切な応答")
    else: # 関連FAQ IDが存在する場合
        for faq_id in related_faq_ids:
            if faq_id in faq_db:
                faq_content = faq_db[faq_id]["内容"]
                # 回答がFAQ内容のキーワードを含んでいるか簡易的にチェック（より厳密なNLUが必要）
                if any(k in answer for k in faq_content.split(' ')):
                    is_relevant_to_faq = True
                    break
        if is_relevant_to_faq:
            score += 15
            feedback.append("回答根拠: FAQに基づいています")
        else:
            feedback.append("回答根拠: FAQとの関連性が低いか、幻覚の可能性があります")

    return score, feedback

# FAQデータベースの例
faq_db_sample = {
    "001": {"タイトル": "料金プランについて", "内容": "当社の料金プランはベーシック、プレミアム、エンタープライズの3種類です。詳細はウェブサイトをご覧ください。"},
    "002": {"タイトル": "支払い方法", "内容": "クレジットカード、銀行振込、コンビニ払いが可能です。"},
    "003": {"タイトル": "アカウント登録", "内容": "新規アカウント登録はウェブサイトの「新規登録」ボタンから行えます。"}
}

失敗モードと抑制手法

  1. 幻覚（Hallucination）:
    • 説明: FAQデータベースにない情報を生成する。
    • 抑制手法: System指示による厳密な情報源指定、検証ステップでのFAQデータベースとのキーワードマッチング、リトライ戦略による再生成指示。
  2. 様式崩れ（Format Deviation）:
    • 説明: 定義された出力フォーマットに従わない。
    • 抑制手法: プロンプトでのフォーマット例示と強調、少数例による学習、検証ステップでの正規表現チェック、リトライ戦略によるフォーマット修正指示。
  3. 脱線（Off-topic/Irrelevant）:
    • 説明: 問い合わせ内容やFAQデータベースと無関係な回答を生成する。
    • 抑制手法: System指示による関連性重視の指示、検証ステップでのセマンティックな関連度評価、リトライ戦略での問い合わせ意図再強調。
  4. 禁止事項違反（Violation of Prohibitions）:
    • 説明: 個人情報や機密情報、不適切な表現を出力する。
    • 抑制手法: System指示による禁止事項の明示、検証ステップでの禁止ワードリスト照合や機密情報検出モデルの利用、リトライ戦略での生成中断と警告。

プロンプト改良のループ

graph TD
    A["プロンプト設計"] --> B{"モデルによる回答生成"};
    B --> C["評価シナリオ実行"];
    C --> D{"自動評価"};
    D --> E{"誤り分析"};
    E --|評価結果と失敗モード| F["改良"];
    F --> A;

誤り分析

各プロンプト案と評価シナリオの結果から、自動評価のスコアとフィードバックを詳細に確認します。特にスコアが低いケースや、予期せぬ失敗モード（幻覚、様式崩れなど）が発生したケースを深掘りします。例えば、「難例」でパスワードに関する誤った情報や、フォーマットを無視した出力が発生した場合、その原因を特定します。これは、プロンプトの指示の曖昧さ、モデルの理解度不足、あるいは提示されたFAQデータベースの不備などが考えられます。

改良

誤り分析で特定された原因に基づき、プロンプトを修正します。幻覚対策として、System指示をさらに強化し、「FAQにない情報は『適切な回答を生成できませんでした…』と回答する」という条件を明確化します。様式崩れ対策には、少数例を増やしたり、CoTプロンプトで思考プロセスにフォーマットチェックのステップを追加したりして、モデルにフォーマットの重要性を強調します。禁止事項対策には、禁止ワードリストをプロンプト内に明示的に記載するか、より強力な外部フィルタリング機構の導入を検討します。

再評価

改良したプロンプトを、同じ評価シナリオと自動評価スクリプトで再度評価します。スコアの改善、失敗モードの抑制状況、フィードバックの変化を確認し、目標とするLLMの安定性に達しているかを検証します。このプロセスを繰り返し、継続的にプロンプトの品質向上を図ります。

まとめ

LLMの出力を安定化させるGuardrailsは、プロンプト設計、厳密な入出力契約、多角的な評価、そして継続的な改良のサイクルを通じて実現されます。特にSystem指示の明確化、少数例の活用、Chain-of-Thoughtによる思考プロセスの誘導、そして自動評価による迅速なフィードバックが、堅牢なGuardrails構築には不可欠です。本アプローチにより、LLMはビジネス要件に沿った信頼性の高いサービスを提供できるようになります。

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました