あなたは情報検索と要約に特化したアシスタントです。
以下の「コンテキスト」のみに基づいて、「クエリ」に対する正確な回答を生成してください。
コンテキスト内に回答が存在しない場合は、「提供された情報には回答が見つかりませんでした。」と回答してください。

# コンテキスト

{{context}}

# クエリ

{{query}}

# 回答

あなたは情報検索と要約に特化したアシスタントです。
以下の「コンテキスト」のみに基づいて、「クエリ」に対する正確な回答を生成してください。
コンテキスト内に回答が存在しない場合は、「提供された情報には回答が見つかりませんでした。」と回答してください。
回答は、提供された情報源を明確にするために、関連する文書からの抜粋を含めるようにしてください。

# 例1

## コンテキスト

文書1: 「RAG（Retrieval Augmented Generation）は、大規模言語モデル（LLM）が外部知識源から情報を取得し、その情報に基づいて回答を生成するAI技術です。これにより、モデルの幻覚を減少させ、最新の情報を利用できます。」
文書2: 「2020年にFacebook AIの研究者によって提案されました。」
## クエリ

RAGはいつ提案されましたか？
## 回答

RAGは2020年にFacebook AIの研究者によって提案されました。
(ソース: 文書2より「2020年にFacebook AIの研究者によって提案されました。」)

# 例2

## コンテキスト

文書1: 「LLMのトレーニングには大量のデータと計算リソースが必要です。」
## クエリ

RAGのモデルサイズは？
## 回答

提供された情報には回答が見つかりませんでした。

# あなたのタスク

## コンテキスト

{{context}}
## クエリ

{{query}}
## 回答

あなたは情報検索と要約に特化したアシスタントです。
以下の手順に従って、与えられた「コンテキスト」のみに基づいて「クエリ」に対する正確な回答を生成してください。

1.  **関連情報特定**: まず、クエリに直接関連するコンテキスト内の情報を特定し、その文書IDと内容を記述します。

2.  **情報統合**: 特定された情報が複数ある場合、それらを統合し、クエリへの回答を形成するための主要な事実を抽出します。

3.  **幻覚チェックと不足情報確認**: 統合された情報がクエリに完全に答えているか確認します。コンテキストにない情報を追加しようとしていないか確認します。もし、コンテキストのみでは回答できない場合は、その旨を明確に述べます。

4.  **最終回答生成**: 上記のステップに基づいて、ユーザーフレンドリーな形式で最終回答を生成します。回答は必ずコンテキスト内の情報に基づいている必要があります。

# コンテキスト

{{context}}

# クエリ

{{query}}

# 思考プロセスと最終回答


1.  **関連情報特定**:

    -   ...

2.  **情報統合**:

    -   ...

3.  **幻覚チェックと不足情報確認**:

    -   ...

4.  **最終回答生成**:

    -   {{回答}}

# 評価用擬似コード (Python)

import re
from typing import List, Dict

def evaluate_rag_output(
    query: str,
    context: List[str],
    llm_output: Dict,
    ground_truth_answer: str = None
) -> Dict:
    """
    RAGシステムのLLM出力を自動評価する。

    Args:
        query (str): ユーザーの元のクエリ。
        context (List[str]): 提供されたコンテキスト文書のリスト。
        llm_output (Dict): LLMの出力（入出力契約に準拠）。
        ground_truth_answer (str, optional): 正解の回答。忠実度・関連性の評価に利用。

    Returns:
        Dict: 評価結果。
    """
    evaluation_results = {
        "faithfulness_score": 0.0,  # 忠実度: 回答がコンテキストにどの程度基づいているか
        "relevance_score": 0.0,     # 関連性: 回答がクエリにどの程度関連しているか
        "context_utilization": 0.0, # コンテキスト利用率: コンテキストがどの程度活用されたか
        "hallucination_detected": False, # 幻覚の検出
        "format_adherence": False,  # 出力フォーマットの遵守
        "error_message": None       # エラーメッセージ（あれば）
    }

    # 1. 出力フォーマットの遵守

    if not isinstance(llm_output, dict) or \
       "answer" not in llm_output or \
       "confidence_score" not in llm_output or \
       "sources" not in llm_output or \
       "status" not in llm_output:
        evaluation_results["error_message"] = "出力フォーマットが不正です。"
        return evaluation_results
    else:
        evaluation_results["format_adherence"] = True

    generated_answer = llm_output.get("answer", "")
    output_status = llm_output.get("status", "failure")

    if output_status == "failure":
        evaluation_results["error_message"] = llm_output.get("error_message", "LLM生成失敗")
        return evaluation_results

    # 2. 忠実度 (Faithfulness)


    # 生成された回答内の主要な事実が、提供されたコンテキスト内に存在するかをチェック


    # これはより高度なNLI (Natural Language Inference) モデルやキーワードマッチング、埋め込み類似度で実装されることが多い


    # 簡易的には、回答中の固有名詞や数値がコンテキストにあるかチェック

    faithfulness_keywords = re.findall(r'[A-Z][a-z0-9]+|\d+\.\d+|\d+', generated_answer)
    matched_facts = 0
    total_facts = len(faithfulness_keywords)

    if total_facts > 0:
        for keyword in faithfulness_keywords:
            for doc in context:
                if keyword in doc:
                    matched_facts += 1
                    break
        evaluation_results["faithfulness_score"] = matched_facts / total_facts

        # 幻覚の簡易検出: 生成された回答がコンテキストに全く基づいていない場合

        if evaluation_results["faithfulness_score"] < 0.1 and \
           "見つかりませんでした" not in generated_answer:
            evaluation_results["hallucination_detected"] = True

    # 3. 関連性 (Relevance)


    # クエリと生成回答間のセマンティック類似度を評価 (BERT, Sentence-BERT等の埋め込みモデルを使用)


    # ground_truth_answer があれば、それとの類似度も測る

    if ground_truth_answer:

        # この部分は埋め込みモデルへのAPI呼び出し等を想定


        # from sentence_transformers import SentenceTransformer


        # model = SentenceTransformer('all-MiniLM-L6-v2')


        # query_embedding = model.encode(query)


        # answer_embedding = model.encode(generated_answer)


        # gt_answer_embedding = model.encode(ground_truth_answer)


        # from sklearn.metrics.pairwise import cosine_similarity


        # evaluation_results["relevance_score"] = cosine_similarity([query_embedding], [answer_embedding])[0][0]


        # if gt_answer_embedding:


        #     evaluation_results["gt_relevance_score"] = cosine_similarity([gt_answer_embedding], [answer_embedding])[0][0]

        pass # Placeholder for actual embedding similarity calculation

    # 簡易的には、クエリのキーワードが回答に含まれているか

    query_keywords = re.findall(r'\b\w+\b', query.lower())
    matched_query_keywords = 0
    for qk in query_keywords:
        if qk in generated_answer.lower():
            matched_query_keywords += 1
    if len(query_keywords) > 0:
        evaluation_results["relevance_score"] = matched_query_keywords / len(query_keywords)
    else:
        evaluation_results["relevance_score"] = 1.0 # クエリが空の場合は常に高関連性

    # 4. コンテキスト利用率


    # LLMの回答が、提供されたどのコンテキスト文書から情報を使用しているか

    used_sources = llm_output.get("sources", [])
    if context and len(used_sources) > 0:
        evaluation_results["context_utilization"] = len(used_sources) / len(context)
    elif generated_answer and "見つかりませんでした" not in generated_answer and not context:

        # コンテキストがないのに回答がある場合、これも問題

        evaluation_results["context_utilization"] = 0.0
        evaluation_results["hallucination_detected"] = True


    # "提供された情報には回答が見つかりませんでした" の検出

    if "見つかりませんでした" in generated_answer and ground_truth_answer and "見つかりませんでした" in ground_truth_answer:
        evaluation_results["faithfulness_score"] = 1.0
        evaluation_results["relevance_score"] = 1.0
        evaluation_results["context_utilization"] = 0.0 # コンテキストは使われなかった

    return evaluation_results

# 使用例


# llm_output_example = {


#     "answer": "RAGは2020年にFacebook AIの研究者によって提案されました。",


#     "confidence_score": 0.95,


#     "sources": [{"document_id": "文書2", "snippet": "2020年にFacebook AIの研究者によって提案されました。"}],


#     "status": "success"


# }


# context_example = ["文書1: ...", "文書2: 2020年にFacebook AIの研究者によって提案されました。"]


# query_example = "RAGはいつ提案されましたか？"


# gt_answer_example = "RAGは2020年にFacebook AIの研究者によって提案されました。"

#


# result = evaluate_rag_output(query_example, context_example, llm_output_example, gt_answer_example)


# print(result)