あなたはプロの要約・キーワード抽出アシスタントです。
以下のドキュメントを要約し、その要約から3つの主要キーワードを抽出してください。
出力はJSON形式で、`summary`と`keywords`の2つのキーを含めてください。
要約は200文字以内とします。

---
ドキュメント:
[ここにドキュメントの内容を挿入]
---

あなたはプロの要約・キーワード抽出アシスタントです。
以下のドキュメントを要約し、その要約から3つの主要キーワードを抽出してください。
出力はJSON形式で、`summary`と`keywords`の2つのキーを含めてください。
要約は200文字以内とします。

---
入力例1:
ドキュメント:
「本日、株式会社ABCは最新のAI技術を搭載した新製品『スマートアシストX』を発表しました。この製品は、自然言語処理と画像認識を統合し、ユーザーの日常業務を大幅に効率化すると期待されています。初期ロットは来月よりオンラインストアで販売開始予定です。」
出力例1:
```json
{
  "summary": "株式会社ABCは、AI技術を搭載した新製品「スマートアシストX」を発表しました。自然言語処理と画像認識を統合し、業務効率化に貢献すると期待され、来月より販売開始予定です。",
  "keywords": ["スマートアシストX", "AI技術", "業務効率化"]
}

import json
import re

def evaluate_llm_output(expected_json, actual_output_text, doc_content):
    score = 0
    feedback = []

    # 1. JSON形式の検証

    try:
        actual_output = json.loads(actual_output_text)
        if not isinstance(actual_output, dict):
            raise ValueError("出力は辞書型である必要があります。")
        score += 10
    except json.JSONDecodeError:
        feedback.append("出力が有効なJSONではありません。")
        return {"score": score, "feedback": feedback, "is_pass": False}
    except ValueError as e:
        feedback.append(f"JSON構造エラー: {e}")
        return {"score": score, "feedback": feedback, "is_pass": False}

    # 2. キーの存在と型の検証

    if "summary" in actual_output and isinstance(actual_output["summary"], str):
        score += 5
    else:
        feedback.append("`summary`キーが見つからないか、文字列ではありません。")

    if "keywords" in actual_output and isinstance(actual_output["keywords"], list):
        score += 5
    else:
        feedback.append("`keywords`キーが見つからないか、リストではありません。")

    if score < 20: # 基本的なJSON構造が満たされていない場合
        return {"score": score, "feedback": feedback, "is_pass": False}

    # 3. 要約の長さ検証 (200文字以内)

    if len(actual_output.get("summary", "")) <= 200:
        score += 10
    else:
        feedback.append(f"要約が200文字を超過しています ({len(actual_output.get('summary', ''))}文字)。")

    # 4. キーワードの数検証 (3〜5個)

    num_keywords = len(actual_output.get("keywords", []))
    if 3 <= num_keywords <= 5:
        score += 10
    else:
        feedback.append(f"キーワードの数が3〜5個の範囲外です ({num_keywords}個)。")

    # 5. キーワードの妥当性 (原文との関連性 - 簡易チェック)


    # 各キーワードが原文に登場するか、または意味的に関連するかを簡易的にチェック


    # (より高度な評価にはRAGや別のLLMが必要)

    keyword_relevance_score = 0
    for keyword in actual_output.get("keywords", []):
        if re.search(r'\b' + re.escape(keyword) + r'\b', doc_content, re.IGNORECASE):
            keyword_relevance_score += 2 # 原文に直接含まれる

        # else: 別のLLMで意味的関連性を評価するなど

    score += min(keyword_relevance_score, 10) # 最大10点

    # 6. 幻覚チェック (要約内容の正確性 - 簡易チェック)


    # 要約が原文の主要な固有名詞や数字を含んでいるかなど、簡易的な事実チェック


    # (より高度な評価にはRAGや別のLLMが必要)


    # ここでは、要約と原文の語彙類似度を計算するなどの簡略化された方法を想定


    # 例: 文書と要約間のTF-IDFコサイン類似度など

    summary_relevance_score = 0

    # 仮の実装: 要約が原文の特定の主要単語を含んでいれば加点

    if any(word in actual_output["summary"] for word in ["ABC", "スマートアシストX"]): # 検出すべき単語リストは別途定義
        summary_relevance_score += 5
    score += min(summary_relevance_score, 10) # 最大10点

    # 7. 禁止事項チェック

    if "ポリシー違反" in actual_output_text or "error" in actual_output:
        score -= 50 # 大きく減点
        feedback.append("出力にエラーまたはポリシー違反の兆候があります。")

    is_pass = (score >= 60) # 合格基準を定義

    return {"score": score, "feedback": feedback, "is_pass": is_pass, "parsed_output": actual_output}

# 採点ルーブリック:


# JSON形式: 10点


# summaryキーと型: 5点


# keywordsキーと型: 5点


# 要約の長さ: 10点


# キーワードの数: 10点


# キーワードの原文との関連性: 10点 (例: 1キーワードあたり2点、最大5キーワード)


# 要約の正確性 (幻覚防止): 10点 (例: 特定のキーワード検出、類似度など)


# 禁止事項違反: -50点


# 合計最大: 60点


# 合格基準: 60点以上