あなたはITサポートアシスタントです。以下の顧客からの問い合わせに対し、簡潔なFAQ回答を生成してください。回答はMarkdown形式で、見出しと箇条書きを使用してください。根拠のない情報は絶対に含めないでください。

[問い合わせ]
「パスワードを忘れてしまいました。リセット方法を教えてください。」

あなたはITサポートアシスタントです。以下の顧客からの問い合わせに対し、簡潔なFAQ回答を生成してください。回答はMarkdown形式で、見出しと箇条書きを使用し、指定された情報源のみを根拠としてください。根拠のない情報や推測は絶対に含めないでください。

---
[例1：問い合わせ]
「ソフトウェアのインストール方法がわかりません。」

[例1：情報源]
「ソフトウェアのインストール手順：

1. 公式ウェブサイトからインストーラーをダウンロードします。

2. ダウンローダーを実行し、画面の指示に従います。

3. インストール完了後、ソフトウェアを起動します。」

[例1：回答]
### ソフトウェアのインストール方法

1.  公式ウェブサイトからインストーラーをダウンロードします。

2.  ダウンロードしたファイルを起動し、画面の指示に従ってインストールを進めます。

3.  インストール完了後、ソフトウェアを起動して設定を行います。

---
[例2：問い合わせ]
「プリンターが印刷できません。」

[例2：情報源]
「プリンターのトラブルシューティング：

1. プリンターの電源がオンになっているか確認します。

2. ケーブル接続を確認します。

3. ドライバーが最新か確認し、必要であれば更新します。

4. プリンターのキューをクリアします。」

[例2：回答]
### プリンターの印刷トラブルシューティング

プリンターが印刷できない場合、以下の手順をお試しください。

*   **電源と接続の確認**: プリンターの電源がオンになっており、PCとの接続ケーブルが正しく接続されているか確認してください。

*   **ドライバーの更新**: プリンタードライバーが最新バージョンであるか確認し、必要に応じて更新してください。

*   **印刷キューのクリア**: PCの印刷キューに保留中のドキュメントがないか確認し、あればクリアしてください。

---
[問い合わせ]
「アカウントがロックされてしまいました。」

[情報源]
「アカウントロック時の対応：

1. 複数回のログイン失敗によりアカウントが一時的にロックされます。

2. 30分待つと自動的にロックが解除されます。

3. それでも解除されない場合は、サポートチームに連絡してください。」

あなたは、顧客からの問い合わせに対して、与えられた情報源のみを使用してFAQ回答を生成する専門家です。
以下の手順に厳密に従い、思考プロセスを明確にし、最終回答をJSON形式で出力してください。

<思考プロセス>

1. **問い合わせの分析**: 顧客の問い合わせの意図を正確に把握する。

2. **情報源の特定と検証**: 提供された情報源の中から、問い合わせに直接関連する情報を特定し、その情報が質問に答えるのに十分か検証する。情報源にない内容は含めない。

3. **回答の構造化**: 特定した情報を基に、簡潔かつ分かりやすいFAQ回答の骨子を作成する。Markdownの見出しと箇条書きで構成する。

4. **JSON形式への変換**: 作成したFAQ回答を、以下のJSONスキーマに従って変換する。

JSONスキーマ:
{
  "faq_title": "string",
  "faq_answer_markdown": "string"
}

<制約事項>

*   **出力形式**: 必ず最終回答のみをJSON形式で出力すること。思考プロセスはJSONに含めない。

*   **情報源の厳守**: `[情報源]`に記載された事実のみに基づき回答を生成すること。幻覚や推測は一切許容しない。

*   **言語**: 日本語で回答すること。

[問い合わせ]
「API連携の認証方法を教えてください。」

[情報源]
「弊社のAPIはOAuth 2.0 Client Credentials Grantをサポートしています。認証にはクライアントIDとクライアントシークレットが必要です。アクセストークンは/oauth/tokenエンドポイントにPOSTリクエストを送ることで取得できます。トークンはBearerトークンとしてAuthorizationヘッダーに含めて使用します。」

import json
import re

def evaluate_llm_output(output_text: str, expected_format: str, keywords: list, forbidden_patterns: list) -> dict:
    """
    LLMの出力を自動評価する擬似コード。

    Args:
        output_text (str): LLMからの出力テキスト。
        expected_format (str): 期待される出力フォーマット ('markdown', 'json', 'plaintext')。
        keywords (list): 出力に含まれるべき必須キーワードのリスト。
        forbidden_patterns (list): 出力に含まれてはいけない正規表現パターンのリスト。

    Returns:
        dict: 評価結果とスコア。
    """
    score = 0
    feedback = []

    # 1. 様式崩れの評価

    format_ok = False
    if expected_format == 'json':
        try:
            json_output = json.loads(output_text)

            # JSONスキーマの一致をさらに検証することも可能 (例: "faq_title"と"faq_answer_markdown"が存在するか)

            if "faq_title" in json_output and "faq_answer_markdown" in json_output:
                format_ok = True
                score += 30
            else:
                feedback.append("様式崩れ: 期待されるJSONスキーマと一致しません。")
        except json.JSONDecodeError:
            feedback.append("様式崩れ: JSON形式ではありません。")
    elif expected_format == 'markdown':

        # Markdownの簡単な構造チェック (例: 見出しが存在するか)

        if re.search(r'^\s*#+\s*.+', output_text, re.MULTILINE):
            format_ok = True
            score += 30
        else:
            feedback.append("様式崩れ: Markdown形式の期待される見出しがありません。")
    else: # plaintextの場合、ここでは基本的な形式チェックは行わない
        format_ok = True
        score += 30 # デフォルトで形式はOKとする

    if format_ok:
        feedback.append("様式: 適切です。")

    # 2. キーワード（意図との整合性）の評価

    missing_keywords = [kw for kw in keywords if kw not in output_text]
    if not missing_keywords:
        score += 40
        feedback.append("キーワード: 全ての必須キーワードが含まれています。")
    else:
        feedback.append(f"キーワード不足: {', '.join(missing_keywords)} が見つかりません。")

    # 3. 禁止事項（幻覚、脱線）の評価

    forbidden_detected = []
    for pattern in forbidden_patterns:
        if re.search(pattern, output_text, re.IGNORECASE):
            forbidden_detected.append(pattern)

    if not forbidden_detected:
        score += 30
        feedback.append("禁止事項: 違反が検出されませんでした。")
    else:
        feedback.append(f"禁止事項違反: {', '.join(forbidden_detected)} パターンが検出されました。")

    # 採点ルーブリック例:


    # - 形式の一致: 30点


    # - 必須キーワードの包含: 40点


    # - 禁止事項の不検出: 30点


    # 合計100点満点

    return {"score": score, "feedback": feedback, "output": output_text}

# --- 評価関数使用例 ---


# 期待される出力形式

expected_format_example = 'json'

# 必須キーワード (問い合わせ内容に基づいて動的に生成または事前定義)

keywords_example = ['OAuth 2.0', 'クライアントID', 'アクセストークン', 'Authorizationヘッダー']

# 禁止されるパターン (幻覚、脱線、不適切な内容など)


# 例: 特定の情報源にないURL、架空の会社名、攻撃的な言葉

forbidden_patterns_example = [r'https?://[^\s]+架空のドメイン', r'架空の企業名', r'攻撃的な言葉']

# CoT制約型プロンプトからの出力例 (仮定)

llm_output_example = """
{
  "faq_title": "API連携の認証方法について",
  "faq_answer_markdown": "### API認証の概要\\n\\n弊社のAPIは**OAuth 2.0 Client Credentials Grant**をサポートしています。\\n\\n#### 必要な情報\\n*   クライアントID\\n*   クライアントシークレット\\n\\n#### アクセストークンの取得方法\\n1.  `/oauth/token` エンドポイントに**POST**リクエストを送信します。\\n2.  リクエストには、クライアントIDとクライアントシークレットを含めます。\\n\\n#### アクセストークンの使用方法\\n*   取得したアクセストークンを**Bearerトークン**として、リクエストの`Authorization`ヘッダーに含めて使用します。"
}
"""

evaluation_result = evaluate_llm_output(llm_output_example, expected_format_example, keywords_example, forbidden_patterns_example)
print(json.dumps(evaluation_result, indent=2, ensure_ascii=False))