System: あなたはニュース記事の見出し生成AIです。ユーザーの指定したトピックについて、事実に基づき、標準的な表現で最大30文字の見出しを生成してください。出力はJSON形式でお願いします。
User: {"topic": "月面基地建設の最新動向", "creativity_level": "low", "num_headlines": 2}

System: あなたはニュース記事の見出し生成AIです。以下の例を参考に、ユーザーの指定したトピックについて、創造性と正確性のバランスが取れた最大30文字の見出しを生成してください。出力はJSON形式でお願いします。
Example Input: {"topic": "AI倫理の新たな課題", "creativity_level": "medium", "num_headlines": 2}
Example Output: {"headlines": ["AI倫理の新局面：公正性と透明性の追求", "進化するAI、問われる人間の倫理：課題と展望"], "model_params": {"temperature": 0.7, "top_p": 0.8}}
User: {"topic": "最新の量子コンピュータ開発", "creativity_level": "medium", "num_headlines": 3}

System: あなたは経験豊富なニュースエディターです。ユーザーの指定したトピックと創造性レベルに基づき、魅力的なニュース記事の見出しを複数生成してください。
思考プロセス：

1. まず、提供されたトピックの核となるキーワードと主要な論点を特定します。

2. 次に、指定された創造性レベルに応じた複数の見出しアイデアを自由に発想します。

   - 'low'ならば、事実に基づいた標準的な表現を重視。

   - 'medium'ならば、少しひねりを加えつつも正確さを保持。

   - 'high'ならば、型にとらわれず、読者の好奇心を刺激するようなユニークな表現を追求。

3. 発想したアイデアの中から、出力数と文字数制限（最大30文字）を満たす最適な見出しを選定します。

4. 最終的に、選定した見出しをJSON形式で出力します。

User: {"topic": "深海探査技術の革新", "creativity_level": "high", "num_headlines": 4}

import json
import re

def evaluate_headline_generation(response_raw: str, input_data: dict) -> dict:
    """
    LLMからの見出し生成出力を自動評価する擬似コード。

    Args:
        response_raw (str): LLMからの生の出力文字列。
        input_data (dict): プロンプトへの入力データ (topic, creativity_level, num_headlines)。

    Returns:
        dict: 評価スコア、フィードバック、エラー情報を含む辞書。
    """
    score = 0.0
    feedback = []
    error = None

    # 1. 出力形式の検証 (JSONパース)

    try:
        response_json = json.loads(response_raw)
    except json.JSONDecodeError:
        error = "JSONDecodeError: Output is not a valid JSON."
        return {"score": score, "feedback": feedback, "error": error}

    if "headlines" not in response_json or not isinstance(response_json["headlines"], list):
        error = "FormatError: 'headlines' key missing or not a list."
        return {"score": score, "feedback": feedback, "error": error}

    if "model_params" not in response_json or not isinstance(response_json["model_params"], dict):
        error = "FormatError: 'model_params' key missing or not a dict."
        return {"score": score, "feedback": feedback, "error": error}

    headlines = response_json["headlines"]
    expected_num = input_data["num_headlines"]
    topic = input_data["topic"]
    creativity_level = input_data["creativity_level"]

    # 2. 生成見出し数の検証 (10%)

    if len(headlines) == expected_num:
        score += 0.1
    else:
        feedback.append(f"Headline count mismatch: Expected {expected_num}, Got {len(headlines)}.")

    # 3. 各見出しの文字数検証 (20%)

    all_lengths_ok = True
    for h in headlines:
        if not isinstance(h, str):
            feedback.append(f"Non-string headline found: {h}.")
            all_lengths_ok = False
            break
        if len(h) > 30:
            feedback.append(f"Headline too long (>{30} chars): '{h}' ({len(h)} chars).")
            all_lengths_ok = False
    if all_lengths_ok:
        score += 0.2

    # 4. トピック関連性の検証 (40%)


    # 簡易的なキーワードマッチング。より高度には埋め込みベクトル類似度を使用。

    topic_keywords = re.findall(r'\b\w+\b', topic.lower()) # トピックからキーワード抽出
    relevant_headlines_count = 0
    for h in headlines:
        if any(keyword in h.lower() for keyword in topic_keywords if len(keyword) > 2): # 短すぎるキーワードは除く
            relevant_headlines_count += 1

    relevance_ratio = relevant_headlines_count / len(headlines) if headlines else 0
    if relevance_ratio >= 0.75: # 75%以上の見出しがトピック関連
        score += 0.4
    else:
        feedback.append(f"Low topic relevance: {relevant_headlines_count}/{len(headlines)} headlines relevant.")

    # 5. 創造性/多様性の検証 (30%)

    unique_headlines = set(h.lower() for h in headlines) # 大文字小文字を無視して重複チェック
    diversity_ratio = len(unique_headlines) / len(headlines) if headlines else 0

    if creativity_level == "low":

        # 低創造性ではある程度の多様性を許容しつつ、標準的な表現が多いことを期待

        if diversity_ratio >= 0.7: score += 0.3 # 0.7以上であればOKとする
        else: feedback.append(f"Diversity too low for 'low' creativity: {diversity_ratio:.2f}.")
    elif creativity_level == "medium":
        if diversity_ratio >= 0.85: score += 0.3
        else: feedback.append(f"Diversity lower than expected for 'medium' creativity: {diversity_ratio:.2f}.")
    elif creativity_level == "high":
        if diversity_ratio >= 0.95: score += 0.3 # 高創造性では高い多様性を期待
        else: feedback.append(f"Diversity too low for 'high' creativity: {diversity_ratio:.2f}.")

    return {"score": round(score, 2), "feedback": feedback, "error": error}

# 想定される入出力と評価呼び出しの例:


# input_data = {"topic": "月面基地建設の最新動向", "creativity_level": "medium", "num_headlines": 2}


# raw_output = '{"headlines": ["月面基地、建設加速へ：国際協力進む", "宇宙開発の新時代：月面拠点計画の全貌"], "model_params": {"temperature": 0.7, "top_p": 0.8}}'


# result = evaluate_headline_generation(raw_output, input_data)


# print(result)