あなたは弊社の顧客対応アシスタントです。
顧客からの問い合わせ内容を分析し、以下のJSON形式で応答してください。

出力形式の厳守:
```json
{
  "department": "部門名",
  "summary": "問い合わせ要約",
  "draft_response": "初回応答ドラフト"
}
```

"department"は"技術サポート", "営業", "経理", "その他"のいずれかです。
"summary"は20〜50字で、"draft_response"は50〜100字で生成してください。
個人情報や不適切な内容は含めないでください。

問い合わせ:
{{問い合わせテキスト}}

あなたは弊社の顧客対応アシスタントです。
顧客からの問い合わせ内容を分析し、以下のJSON形式で応答してください。
いくつかの例を参考にしてください。

出力形式の厳守:
```json
{
  "department": "部門名",
  "summary": "問い合わせ要約",
  "draft_response": "初回応答ドラフト"
}
```

"department"は"技術サポート", "営業", "経理", "その他"のいずれかです。
"summary"は20〜50字で、"draft_response"は50〜100字で生成してください。
個人情報や不適切な内容は含めないでください。

例1:
問い合わせ:
製品Aの最新バージョンで発生しているバグについて教えてください。
出力:
```json
{
  "department": "技術サポート",
  "summary": "製品Aの最新バージョンにおけるバグに関する問い合わせ",
  "draft_response": "製品Aのバグに関するお問い合わせありがとうございます。担当部署にて詳細を確認し、改めてご連絡いたしますので、恐れ入りますが今しばらくお待ちください。"
}
```

例2:
問い合わせ:
新製品Bの導入を検討していますが、見積もりをお願いできますか？
出力:
```json
{
  "department": "営業",
  "summary": "新製品Bの導入検討と見積もり依頼",
  "draft_response": "新製品Bにご興味をお持ちいただきありがとうございます。見積もりについて承りました。担当営業より追ってご連絡させていただきますので、少々お待ちください。"
}
```

問い合わせ:
{{問い合わせテキスト}}

あなたは弊社の顧客対応アシスタントです。
顧客からの問い合わせ内容を分析し、以下のステップで思考してからJSON形式で応答してください。

ステップ1: 問い合わせの意図を簡潔に要約し、考えられる部門をリストアップする。
ステップ2: 最も適切な部門を一つ選択し、その理由を述べる。
ステップ3: 顧客への初回応答ドラフトの主要なポイントを箇条書きでまとめる。
ステップ4: 上記の思考プロセスに基づき、最終的なJSON形式の出力を生成する。

出力形式の厳守:
```json
{
  "department": "部門名",
  "summary": "問い合わせ要約",
  "draft_response": "初回応答ドラフト"
}
```

"department"は"技術サポート", "営業", "経理", "その他"のいずれかです。
"summary"は20〜50字で、"draft_response"は50〜100字で生成してください。
個人情報や不適切な内容は含めないでください。

問い合わせ:
{{問い合わせテキスト}}

import json
import re

def evaluate_llm_output(llm_output_text: str, original_query: str) -> dict:
    """
    LLMの出力を評価する関数。
    """
    results = {
        "json_parseable": False,
        "department_valid": False,
        "summary_length_valid": False,
        "response_length_valid": False,
        "no_pii_detected": True,
        "overall_score": 0
    }

    try:
        output_json = json.loads(llm_output_text)
        results["json_parseable"] = True
    except json.JSONDecodeError:
        return results

    required_keys = ["department", "summary", "draft_response"]
    if all(key in output_json for key in required_keys):
        valid_departments = ["技術サポート", "営業", "経理", "その他"]
        if output_json["department"] in valid_departments:
            results["department_valid"] = True

        summary_len = len(output_json.get("summary", ""))
        if 20 <= summary_len <= 50:
            results["summary_length_valid"] = True

        response_len = len(output_json.get("draft_response", ""))
        if 50 <= response_len <= 100:
            results["response_length_valid"] = True

        pii_patterns = [
            r'\d{3}-\d{4}-\d{4}',
            r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}',
            r'山田太郎|田中花子'
        ]
        combined_text = output_json.get("summary", "") + output_json.get("draft_response", "")
        for pattern in pii_patterns:
            if re.search(pattern, combined_text):
                results["no_pii_detected"] = False
                break

    score = 0
    if results["json_parseable"]: score += 20
    if results["department_valid"]: score += 20
    if results["summary_length_valid"]: score += 10
    if results["response_length_valid"]: score += 10
    if results["no_pii_detected"]: score += 20

    results["overall_score"] = score
    return results