あなたは社内ドキュメントに基づくFAQ応答システムです。
以下の「質問」に対し、「参照情報」のみに基づいて回答してください。
回答は簡潔にまとめ、最後に参照情報源のタイトルを箇条書きで示してください。

---
参照情報:
{{context}}
---
質問:
{{question}}
---
回答:

あなたは社内ドキュメントに基づくFAQ応答システムです。
以下の「質問」に対し、「参照情報」のみに基づいて回答してください。
回答は簡潔にまとめ、Markdown形式を使用し、最後に参照情報源のタイトルを箇条書きで示してください。

---
例1:
参照情報:
タイトル: 「経費精算ポリシー」
内容: 従業員は業務上の経費について、指定された申請フォームを使用して、発生後30日以内に精算申請を行う必要があります。申請には領収書の添付が必須です。

質問:
経費精算の期限と必要なものは何ですか？

回答:
経費精算は、**発生後30日以内**に申請が必要です。
申請には**指定された申請フォーム**の使用と**領収書の添付**が必須です。

- 参考資料: 「経費精算ポリシー」

---
参照情報:
{{context}}
---
質問:
{{question}}
---
回答:

あなたは社内ドキュメントに基づくFAQ応答システムです。
以下の「質問」に対し、「参照情報」のみに基づいて回答してください。
回答は簡潔にまとめ、Markdown形式を使用し、最後に参照情報源のタイトルを箇条書きで示してください。

回答を生成する前に、以下の手順で思考してください。

1. 提供された「参照情報」の中から、「質問」に直接関連する箇所を特定します。

2. 関連する情報に基づいて、質問に対する回答の主要なポイントを抽出します。

3. 抽出したポイントを基に、指定された出力フォーマットで回答を構成します。この際、「参照情報」にない内容は絶対に含めないでください。

---
参照情報:
{{context}}
---
質問:
{{question}}
---
思考プロセス:
---
回答:

import re
from typing import List, Dict, Any

def evaluate_response(question: str, context: str, generated_answer: str, ground_truth_answer: str) -> Dict[str, Any]:
    """
    RAGシステムからのLLM応答を評価する関数。
    :param question: ユーザーの質問
    :param context: RAGが取得した参照情報
    :param generated_answer: LLMが生成した回答
    :param ground_truth_answer: 正解データ（手動作成または専門家レビュー）
    :return: 評価指標の辞書
    """
    scores = {}

    # 1. 回答の正確性 (Answer Correctness) - F1スコアまたはセマンティック類似度


    # ground_truth_answerとgenerated_answerのキーワード一致度や意味的な近さを評価


    # 例: F1スコア計算 (キーワードベース)

    def calculate_f1(text1: str, text2: str) -> float:
        words1 = set(re.findall(r'\w+', text1.lower()))
        words2 = set(re.findall(r'\w+', text2.lower()))
        if not words1 and not words2:
            return 1.0
        if not words1 or not words2:
            return 0.0

        common = len(words1.intersection(words2))
        precision = common / len(words1)
        recall = common / len(words2)
        if precision + recall == 0:
            return 0.0
        return 2 * (precision * recall) / (precision + recall)

    scores['correctness_f1'] = calculate_f1(ground_truth_answer, generated_answer)

    # 2. 参照情報への忠実性 (Faithfulness / Hallucination Detection)


    # 生成された回答が、提供されたcontextに記述されている事実のみに基づいているか


    # 正規表現やキーワードマッチング、またはLLM自身による検証

    scores['faithfulness_score'] = 1.0 # 暫定的に1.0。実際にはLLMベースの評価が必要
    if "参照情報にない内容が含まれています" in verify_with_another_llm(generated_answer, context):
        scores['faithfulness_score'] = 0.0 # 別のLLMで幻覚を検出した場合

    # 3. 回答の関連性 (Answer Relevancy)


    # generated_answerがquestionに適切に答えているか

    scores['relevancy_score'] = 1.0 # 暫定的に1.0。実際にはLLMベースの評価が必要
    if "質問への関連性が低いです" in verify_with_another_llm(generated_answer, question):
        scores['relevancy_score'] = 0.0

    # 4. コンテキストの関連性 (Context Relevancy) - RAGコンポーネントの評価だが、プロンプト設計にも影響


    # RAGが取得したcontextがquestionに関連しているか


    # これはRAG retrieverの評価だが、プロンプトが「関連情報のみ参照」と指示する場合に重要。


    # scores['context_relevancy_score'] = calculate_context_relevancy(context, question) # 別のLLMで評価

    # 5. フォーマット順守


    # 出力契約で定めた形式（Markdown、参照情報明記など）を守っているか

    scores['format_adherence'] = 1.0
    if not generated_answer.strip().endswith('。'): # 日本語の敬体終わりの簡易チェック
        scores['format_adherence'] = 0.8 # 減点
    if not re.search(r'- 参考資料: \[.*?\]', generated_answer): # 参照情報の有無
        scores['format_adherence'] = 0.0 # 致命的なエラー

    return scores

def verify_with_another_llm(text_to_check: str, reference_text: str) -> str:
    """
    （擬似コード）別のLLMを使用してテキストの正確性や関連性を検証する。
    高い信頼性を要する場合、より強力なモデルや専用の検証プロンプトを用いる。
    """

    # 実際にはここでLLM APIを呼び出し、特定のプロンプトで検証させる


    # 例: "以下の回答は、提供された参照情報のみに基づいていますか？事実と異なる点があれば指摘してください。"


    # print(f"--- LLM Verification for: '{text_to_check[:50]}...' against '{reference_text[:50]}...' ---")

    return "検証結果：問題なし" # 簡易的な返答