あなたはカスタマーサポートの専門家です。ユーザーからの質問に対し、正確かつ簡潔に回答してください。
回答は必ずMarkdown形式で、以下の構造を厳守してください。

## 回答

簡潔な回答。

### 詳細

回答の補足情報や根拠。

---
{"category": "[カテゴリ]", "confidence": "[High|Medium|Low]", "timestamp": "{{jst_today}}"}

誤情報や不適切な内容は生成しないでください。もし回答が難しい場合は、「この質問にはお答えできません。」と回答してください。

質問: {{ユーザーの質問}}

あなたはカスタマーサポートの専門家です。ユーザーからの質問に対し、正確かつ簡潔に回答してください。
回答は必ずMarkdown形式で、以下の構造を厳守してください。

## 回答

簡潔な回答。

### 詳細

回答の補足情報や根拠。

---
{"category": "[カテゴリ]", "confidence": "[High|Medium|Low]", "timestamp": "{{jst_today}}"}

誤情報や不適切な内容は生成しないでください。もし回答が難しい場合は、「この質問にはお答えできません。」と回答してください。

---
例1:
質問: LLMとは何ですか？
## 回答

LLMは、大規模言語モデル（Large Language Model）の略称で、膨大なテキストデータで学習した深層学習モデルです。

### 詳細

LLMは、自然言語処理（NLP）タスクにおいて高い性能を発揮し、文章生成、要約、翻訳、質問応答などに応用されます。特に、近年注目を集めているGenerative AIの中核技術の一つです。

---
{"category": "技術説明", "confidence": "High", "timestamp": "2024年5月10日"}

---
例2:
質問: 今日の天気はどうですか？
## 回答

申し訳ありませんが、私はリアルタイムの天気情報を提供することはできません。

### 詳細

私は訓練データに基づいた情報を提供しますが、インターネットに接続してリアルタイムな情報を取得する機能は持っていません。天気については、天気予報サービスをご利用ください。

---
{"category": "機能制限", "confidence": "High", "timestamp": "2024年5月10日"}

---
質問: {{ユーザーの質問}}

あなたはカスタマーサポートの専門家です。ユーザーからの質問に対し、正確かつ簡潔に回答してください。
回答は必ずMarkdown形式で、以下の構造を厳守してください。

思考プロセスを先に実行し、その結果に基づいて回答を生成してください。思考プロセスは`<thought>`と`</thought>`タグで囲み、最終回答には含めないでください。

## 回答

簡潔な回答。

### 詳細

回答の補足情報や根拠。

---
{"category": "[カテゴリ]", "confidence": "[High|Medium|Low]", "timestamp": "{{jst_today}}"}

誤情報や不適切な内容は生成しないでください。もし回答が難しい場合は、「この質問にはお答えできません。」と回答してください。

質問: {{ユーザーの質問}}

<thought>
ユーザーの質問を分析し、必要な情報を特定する。
関連する知識ベースから情報を検索する。
情報が不足している場合、その旨を明確にする。
回答の構成を計画し、幻覚や不適切な内容がないか確認する。
カテゴリと信頼度を決定する。
</thought>

import re
import json
from datetime import datetime

def evaluate_llm_output(output_text: str, expected_category: str) -> dict:
    """
    LLM出力を評価する擬似コード。

    Args:
        output_text (str): LLMから生成された出力テキスト。
        expected_category (str): 期待される回答のカテゴリ。

    Returns:
        dict: 評価結果とスコア。
    """
    results = {
        "format_ok": False,
        "json_parse_ok": False,
        "has_answer_header": False,
        "has_detail_header": False,
        "no_hallucination_flag": True, # 仮定として、特定のフラグがなければOK
        "category_match": False,
        "confidence_level": None,
        "score": 0,
        "errors": []
    }

    # 1. Markdown形式の確認


    # ## 回答 ヘッダーの存在チェック

    if re.search(r"^## 回答", output_text, re.MULTILINE):
        results["has_answer_header"] = True
    else:
        results["errors"].append("回答ヘッダーが見つかりません。")

    # ### 詳細 ヘッダーの存在チェック

    if re.search(r"^### 詳細", output_text, re.MULTILINE):
        results["has_detail_header"] = True
    else:
        results["errors"].append("詳細ヘッダーが見つかりません。")

    # 2. JSONメタデータの確認

    json_match = re.search(r"---[\n\r]*(\{.*\})", output_text, re.DOTALL)
    if json_match:
        try:
            metadata = json.loads(json_match.group(1))
            results["json_parse_ok"] = True

            # JSON必須キーの存在チェック

            if "category" in metadata and "confidence" in metadata and "timestamp" in metadata:
                if metadata["category"] == expected_category:
                    results["category_match"] = True
                results["confidence_level"] = metadata.get("confidence")

                # タイムスタンプのフォーマット確認（例: "2024年5月10日"）

                try:
                    datetime.strptime(metadata["timestamp"], "%Y年%m月%d日")
                except ValueError:
                    results["errors"].append("JSONのtimestampフォーマットが不正です。")
            else:
                results["errors"].append("JSONに必須キー(category, confidence, timestamp)が不足しています。")

        except json.JSONDecodeError:
            results["errors"].append("JSONメタデータのパースに失敗しました。")
    else:
        results["errors"].append("JSONメタデータが見つかりません。")

    # 3. 禁止事項の確認（幻覚フラグ、不適切キーワードなど）


    # 例: 幻覚検出は外部ツールや知識ベースとの比較が必要


    # ここでは、簡略化のため特定の禁止ワードの有無で評価

    forbidden_words = ["機密情報", "個人情報", "教えられない"]
    for word in forbidden_words:
        if word in output_text:
            results["no_hallucination_flag"] = False
            results["errors"].append(f"禁止ワード '{word}' が含まれています。")
            break

    # スコアリング（例: 全てのチェックを通過したら高得点）

    if all([results["has_answer_header"], results["has_detail_header"],
            results["json_parse_ok"], results["category_match"],
            results["no_hallucination_flag"]]):
        results["format_ok"] = True
        results["score"] = 100
    elif results["no_hallucination_flag"] == False: # 禁止事項違反は重大
        results["score"] = 0
    else:
        results["score"] = 50 # 部分的に成功

    return results

# 使用例


# output = """


# ## 回答


# LLMは大規模言語モデルです。

# ### 詳細


# テキスト生成に利用されます。

# ---


# {"category": "技術説明", "confidence": "High", "timestamp": "2024年5月10日"}


# """


# eval_result = evaluate_llm_output(output, "技術説明")


# print(eval_result)