あなたは製品レビューの感情分析と要約を行うアシスタントです。
以下の製品レビューを分析し、感情と要約をJSON形式で出力してください。

#出力形式

{
  "sentiment": "感情（ポジティブ、ネガティブ、中立、分析不可）",
  "summary": "要約（100文字以内）"
}

#レビュー

{{ユーザーレビュー}}

あなたは製品レビューの感情分析と要約を行うアシスタントです。
以下の例を参考に、製品レビューの感情分析と要約をJSON形式で出力してください。

#例1

レビュー: このスマートフォンはバッテリー持ちが素晴らしく、一日中使っても問題ありません。カメラも非常に綺麗で満足しています。
出力:
{
  "sentiment": "ポジティブ",
  "summary": "バッテリー持ちとカメラ性能が特に優れており、高い満足度を示しています。"
}

#例2

レビュー: 注文したヘッドホンが届いたが、片方のイヤホンから音が出ない。交換を依頼したが、手続きが煩雑で非常に不満です。
出力:
{
  "sentiment": "ネガティブ",
  "summary": "初期不良があり、交換手続きの煩雑さも重なり、ユーザーは不満を抱いています。"
}

#レビュー

{{ユーザーレビュー}}

#出力形式

{
  "sentiment": "感情（ポジティブ、ネガティブ、中立、分析不可）",
  "summary": "要約（100文字以内）"
}

あなたは製品レビューの感情分析と要約を行う高度なAIアシスタントです。
以下の手順に従い、指定されたJSON形式で出力を生成してください。

1. **レビューの読解**: 提供された製品レビューの内容を完全に理解します。

2. **感情の特定**: レビュー全体から、製品に対する主要な感情（ポジティブ、ネガティブ、中立）を特定します。特定できない場合は「分析不可」とします。

3. **感情の根拠抽出**: 特定した感情の最も強い根拠となる具体的な記述をレビュー本文から抽出します。

4. **主要点の要約**: レビューの主要な内容を100文字以内で簡潔に要約します。

5. **JSON形式での出力**: 以下のスキーマに従ってJSONオブジェクトを生成します。

#出力形式

{
  "sentiment": "感情（ポジティブ、ネガティブ、中立、分析不可）",
  "summary": "レビューの主要点要約（100文字以内）",
  "reason": "感情の根拠となったレビュー内の具体的な記述（200文字以内）"
}

#制約事項


- JSONは厳密に上記スキーマに従い、全てのキーを含めること。

- `sentiment`は指定された4つの値以外を返さないこと。

- `summary`は要約であり、単なるキーワードの羅列ではないこと。

- `reason`は、レビュー内容を正確に反映し、幻覚を含まないこと。

#レビュー

{{ユーザーレビュー}}

import json
import re

def evaluate_llm_output(review_text: str, llm_output: str, expected_sentiment: str, expected_keywords: list) -> dict:
    """
    LLMの出力を自動評価する擬似コード
    Args:
        review_text (str): 元のユーザーレビューテキスト
        llm_output (str): LLMが生成した出力（JSON文字列）
        expected_sentiment (str): 期待される感情 ("ポジティブ", "ネガティブ", "中立", "分析不可")
        expected_keywords (list): 要約に期待されるキーワードリスト
    Returns:
        dict: 評価結果
    """
    score = 0
    feedback = []

    # 1. JSON形式の検証

    try:
        output_json = json.loads(llm_output)
        score += 10 # JSON形式が正しい
    except json.JSONDecodeError:
        feedback.append("JSON形式が不正です。")
        return {"score": score, "feedback": feedback} # これ以上評価できないため早期リターン

    # 2. 必須キーの検証

    required_keys = ["sentiment", "summary"]
    if all(key in output_json for key in required_keys):
        score += 10
    else:
        feedback.append(f"必須キーが不足しています: {required_keys}")

    # 3. 感情の検証 (採点ルーブリック)

    actual_sentiment = output_json.get("sentiment")
    if actual_sentiment == expected_sentiment:
        score += 30 # 感情が一致
    elif actual_sentiment in ["ポジティブ", "ネガティブ", "中立", "分析不可"]:
        score += 15 # 有効な感情カテゴリだが不一致
        feedback.append(f"感情が不一致です。期待: {expected_sentiment}, 実際: {actual_sentiment}")
    else:
        feedback.append(f"無効な感情カテゴリです: {actual_sentiment}")

    # 4. 要約の検証 (キーワードマッチと長さ)

    summary = output_json.get("summary", "")
    if 0 < len(summary) <= 100:
        score += 10

        # 期待キーワードが要約に含まれるか (正規表現/部分文字列)

        if all(re.search(keyword, summary, re.IGNORECASE) for keyword in expected_keywords):
            score += 20
        else:
            feedback.append(f"要約に期待キーワードの一部が含まれていません。期待: {expected_keywords}")
    else:
        feedback.append(f"要約の長さが不正です (1-100文字)。")

    # 5. Reasonフィールドの検証 (プロンプトCのみ、存在すれば)

    if "reason" in output_json:
        reason = output_json.get("reason", "")
        if len(reason) <= 200:

            # 理由がレビュー内容に存在するか（単純な部分文字列マッチ）

            if reason and reason in review_text:
                score += 10
            else:
                feedback.append("理由がレビュー本文から見つからないか、不適切です。")
        else:
            feedback.append("理由の長さが200文字を超えています。")

    # 6. 禁止事項の確認（例: 個人情報パターン）

    if re.search(r'\d{3}[-.\s]?\d{4}[-.\s]?\d{4}|\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', llm_output):
        score -= 50 # ペナルティ
        feedback.append("個人情報検出（テスト用）。")

    return {"score": score, "feedback": feedback, "output_json": output_json}

# 使用例（実際のA/Bテストでは複数のテストケースとプロンプトで実行）


# review_input = "この商品は素晴らしい！特に画面が綺麗で使いやすいです。注文番号はA1B2C3です。"


# expected_sentiment_val = "ポジティブ"


# expected_keywords_val = ["画面", "綺麗", "使いやすい"]


# llm_response_A = '{"sentiment": "ポジティブ", "summary": "画面が綺麗で使いやすい商品です。とても満足。","reason":"画面が綺麗で使いやすい"}' # 例として適当な理由を入れた


# eval_result = evaluate_llm_output(review_input, llm_response_A, expected_sentiment_val, expected_keywords_val)


# print(eval_result)