あなたは社内ナレッジベース応答アシスタントです。
以下の「検索コンテキスト」に記載されている情報のみを使用して、ユーザーの質問に簡潔に回答してください。
コンテキスト外の情報を追加したり、推測で回答したりしないでください。
回答の最後に、参照したコンテキストのタイトルとページ（利用可能であれば）を引用形式で必ず明記してください。

---
検索コンテキスト:
{{RETRIEVAL_CONTEXT}}

---
ユーザー質問:
{{USER_QUERY}}

---
回答:

あなたは社内ナレッジベース応答アシスタントです。
以下の「検索コンテキスト」に記載されている情報のみを使用して、ユーザーの質問に簡潔に回答してください。
コンテキスト外の情報を追加したり、推測で回答したりしないでください。
回答の最後に、参照したコンテキストのタイトルとページ（利用可能であれば）を引用形式で必ず明記してください。
以下に例を示します。

---
例1:
検索コンテキスト:

-   プロジェクトX概要: プロジェクトXは2024年7月1日から開始され、目標は新製品Aの開発です。(P.1)

-   予算計画2024: プロジェクトXには500万円の初期予算が割り当てられています。(P.15)

ユーザー質問:
プロジェクトXはいつから始まり、予算はいくらですか？

回答:
プロジェクトXは2024年7月1日から開始され、初期予算は500万円です。
[参照: プロジェクトX概要 (P.1), 予算計画2024 (P.15)]

---
例2:
検索コンテキスト:

-   API仕様書v2.0: 認証方式はOAuth 2.0を使用します。(P.3)

-   開発ガイドライン: 新規API開発では、認証にOAuth 2.0を必須とします。(P.7)

ユーザー質問:
新しいAPIの認証方式について教えてください。

回答:
新しいAPIの認証方式はOAuth 2.0を使用します。
[参照: API仕様書v2.0 (P.3), 開発ガイドライン (P.7)]

---
現在の質問:
検索コンテキスト:
{{RETRIEVAL_CONTEXT}}

ユーザー質問:
{{USER_QUERY}}

回答:

あなたは社内ナレッジベース応答アシスタントです。
以下の「検索コンテキスト」に記載されている情報のみを使用して、ユーザーの質問に簡潔に回答してください。
コンテキスト外の情報を追加したり、推測で回答したりしないでください。
回答の最後に、参照したコンテキストのタイトルとページ（利用可能であれば）を引用形式で必ず明記してください。

思考プロセス:

1.  まず、ユーザーの質問の意図を正確に把握します。

2.  次に、「検索コンテキスト」全体を読み、ユーザー質問に関連する箇所を特定します。

3.  特定した情報に基づいて、質問に対する回答を構成します。この際、**コンテキストにない情報は一切追加しない**ことを厳守します。

4.  回答に使用したすべてのコンテキストのタイトルとページを正確に引用リストとして作成します。

---
検索コンテキスト:
{{RETRIEVAL_CONTEXT}}

---
ユーザー質問:
{{USER_QUERY}}

---
思考:
{{モデルが思考プロセスを出力する}}
回答:

import re
from typing import List, Dict, Tuple

def evaluate_rag_response(
    model_response: str,
    retrieved_context: List[str],
    user_query: str,
    golden_answer: str = None # 参照用の模範解答 (オプション)
) -> Dict[str, float]:
    """
    RAGシステムにおけるLLM応答を評価する擬似関数。

    Args:
        model_response (str): LLMが生成した応答テキスト。
        retrieved_context (List[str]): 検索コンポーネントによって取得されたコンテキスト。
        user_query (str): ユーザーの元の質問。
        golden_answer (str, optional): 人間が作成した模範解答。

    Returns:
        Dict[str, float]: 各評価指標のスコア。
    """

    scores = {
        "factuality_score": 0.0,  # 事実の正確性・コンテキストへの忠実性
        "relevance_score": 0.0,   # 質問への関連性
        "format_adherence": 0.0,  # 出力フォーマットの遵守
        "completeness_score": 0.0, # 回答の完全性 (golden_answerがある場合)
        "prohibited_content": 0.0 # 禁止事項の有無 (0: 問題なし, 1: 問題あり)
    }

    # 1. 事実の正確性・コンテキストへの忠実性 (Groundedness/Factuality)


    # 応答内の主要なキーワードやフレーズが retrieved_context 内に存在するかをチェック。


    # より高度な実装では、埋め込みベクトルやNLIモデルを使用。

    context_flat = " ".join(retrieved_context)
    facts_in_response = extract_key_facts(model_response) # 応答から主要な事実を抽出する仮定の関数
    grounded_facts_count = 0
    for fact in facts_in_response:
        if fact in context_flat: # 簡易的なキーワードマッチ
            grounded_facts_count += 1
    scores["factuality_score"] = grounded_facts_count / max(1, len(facts_in_response)) if facts_in_response else 1.0

    # 2. 質問への関連性 (Relevance)


    # model_response が user_query にどれだけ関連しているかを評価。


    # 実際にはセマンティック類似度（BERTScore, ROUGEなど）を用いる。ここでは簡易化。

    if user_query.lower() in model_response.lower() or any(word in model_response.lower() for word in user_query.lower().split()):
        scores["relevance_score"] = 1.0
    else:
        scores["relevance_score"] = 0.5 # 部分的な関連性

    # 3. 出力フォーマットの遵守 (Format Adherence)


    # Markdownの箇条書きまたは段落、および引用形式の有無を正規表現でチェック。


    # 引用形式の例: "[参照: ドキュメントタイトル (P.X), ...]"

    markdown_list_pattern = r"^(-|\*)\s"
    citation_pattern = r"\[参照:.*?\]"
    if (re.search(markdown_list_pattern, model_response) or len(model_response.split('\n')) > 1) and \
       re.search(citation_pattern, model_response):
        scores["format_adherence"] = 1.0
    else:
        scores["format_adherence"] = 0.0

    # 4. 回答の完全性 (Completeness)


    # golden_answer が提供されている場合、モデル応答が模範解答の主要な情報を網羅しているか。


    # 実際にはROUGE-LなどのNLG指標を使用。

    if golden_answer:

        # 例: golden_answer と model_response の共通単語数で簡易評価

        golden_words = set(golden_answer.lower().split())
        model_words = set(model_response.lower().split())
        common_words = len(golden_words.intersection(model_words))
        scores["completeness_score"] = common_words / max(1, len(golden_words))

    # 5. 禁止事項の有無 (Prohibited Content)

    prohibited_keywords = ["差別", "暴力", "ハラスメント", "個人情報"] # 例
    if any(keyword in model_response.lower() for keyword in prohibited_keywords):
        scores["prohibited_content"] = 1.0

    return scores

def extract_key_facts(text: str) -> List[str]:
    """簡易的にテキストから主要な事実を抽出する（この関数はあくまで仮定）。"""

    # 実際にはより高度なNLP技術（固有表現抽出、依存構造解析など）が必要

    return [sentence.strip() for sentence in re.split(r'[.。！!？?]', text) if len(sentence.strip()) > 5]

# 例: 評価の実行


# context = ["ドキュメントA: プロジェクトXの開始日は2024年7月1日です。", "ドキュメントB: プロジェクトXの予算は500万円です。"]


# query = "プロジェクトXの開始日と予算は？"


# response = "プロジェクトXは2024年7月1日に開始され、予算は500万円です。\n[参照: ドキュメントA, ドキュメントB]"


# golden = "プロジェクトXは2024年7月1日に開始し、予算は500万円。"


# results = evaluate_rag_response(response, context, query, golden)


# print(results)