あなたは熟練した感情分析アシスタントです。
以下のレビューテキストを分析し、感情（ポジティブ、ネガティブ、中立）とその理由、そして分析の自信度をJSON形式で出力してください。
感情の理由はレビューから直接抽出し、最大3つまでとしてください。

レビュー:
この製品は期待以上でした！バッテリーの持ちが良く、操作も非常にスムーズです。デザインも気に入りました。

出力:

あなたは熟練した感情分析アシスタントです。
以下の指示に従ってレビューテキストを分析し、感情とその理由、分析の自信度をJSON形式で出力してください。
感情の理由はレビューから直接抽出し、最大3つまでとしてください。

---
レビュー:
この製品は期待以上でした！バッテリーの持ちが良く、操作も非常にスムーズです。デザインも気に入りました。

出力:
{
  "sentiment": "ポジティブ",
  "reasons": ["バッテリーの持ちが良い", "操作がスムーズ", "デザインが良い"],
  "confidence": "高"
}
---
レビュー:
購入しましたが、すぐに故障しました。サポートに連絡しても返事が遅く、非常に不満です。二度と買いません。

出力:
{
  "sentiment": "ネガティブ",
  "reasons": ["すぐに故障した", "サポートの返事が遅い"],
  "confidence": "高"
}
---
レビュー:
音質はまあまあですが、接続が不安定な時があります。値段を考えると悪くはないと思います。

出力:
{
  "sentiment": "中立",
  "reasons": ["音質はまあまあ", "接続が不安定な時がある", "値段を考えると悪くない"],
  "confidence": "中"
}
---
レビュー:
このノートPCは非常に軽くて持ち運びやすいですが、画面が小さくて作業しづらいのが難点です。

出力:

あなたは熟練した感情分析アシスタントです。
以下のレビューテキストを分析し、感情（ポジティブ、ネガティブ、中立）とその理由、そして分析の自信度をJSON形式で出力してください。
感情の理由はレビューから直接抽出し、最大3つまでとしてください。

まず、感情分析の思考プロセスを段階的に記述してください。その後、最終的な分析結果をJSON形式で出力してください。

---
レビュー:
このスマホのカメラは素晴らしいですが、バッテリーの消耗が速いのが残念です。

思考プロセス:

1. 感情を示すキーワードやフレーズの特定: 「カメラは素晴らしい」(ポジティブ)、「バッテリーの消耗が速いのが残念」(ネガティブ)。

2. 全体的な感情の判断: ポジティブとネガティブの両方が混在しているため、中立と判断するのが適切。

3. 感情の理由の抽出: レビューから直接「カメラが素晴らしい」と「バッテリーの消耗が速い」を抽出。

4. 分析の自信度の決定: ポジティブとネガティブな要素が明確に記述されており、判断に迷いがないため自信度は高。

5. JSON形式での出力。

出力:
{
  "sentiment": "中立",
  "reasons": ["カメラが素晴らしい", "バッテリーの消耗が速い"],
  "confidence": "高"
}
---
レビュー:
この新しいイヤホンは音質は良いものの、装着感が悪く耳が痛くなります。

思考プロセス:

import json
import re

def evaluate_llm_output(review_text: str, llm_output: str, golden_standard: dict) -> dict:
    score = 0
    errors = []

    # 1. JSON形式のチェック (10点)

    try:
        parsed_output = json.loads(llm_output.split('出力:\n')[-1].strip()) # CoT考慮
        score += 10
    except json.JSONDecodeError:
        errors.append("JSON形式が無効です。")
        return {"score": score, "errors": errors, "parsed_output": None}

    # 2. sentimentフィールドの検証 (30点)

    if "sentiment" not in parsed_output:
        errors.append("sentimentフィールドがありません。")
    elif parsed_output["sentiment"] == golden_standard["sentiment"]:
        score += 30
    else:
        errors.append(f"感情が不一致です。期待値: {golden_standard['sentiment']}, 実際: {parsed_output['sentiment']}")

    # 3. reasonsフィールドの検証 (最大30点 + 理由数5点 = 35点)

    if "reasons" not in parsed_output or not isinstance(parsed_output["reasons"], list):
        errors.append("reasonsフィールドが無効です。")
    else:

        # 理由の数チェック (5点)

        if 1 <= len(parsed_output["reasons"]) <= 3:
            score += 5
        else:
            errors.append(f"理由の数が範囲外です。実際: {len(parsed_output['reasons'])}")

        # 各理由がレビューテキストに含まれるか、ゴールデンに含まれるか (各10点)

        correct_reasons_count = 0
        for reason in parsed_output["reasons"]:
            if reason in golden_standard["reasons"] and reason in review_text: # レビューからの直接抽出も確認
                correct_reasons_count += 1
            else:
                errors.append(f"不正な理由またはレビューにない理由: '{reason}'")
        score += min(correct_reasons_count * 10, 30) # 最大30点

    # 4. confidenceフィールドの検証 (5点)

    valid_confidence = ["高", "中", "低"]
    if "confidence" not in parsed_output:
        errors.append("confidenceフィールドがありません。")
    elif parsed_output["confidence"] in valid_confidence:
        score += 5
    else:
        errors.append(f"自信度が不正です。期待値: {valid_confidence}, 実際: {parsed_output['confidence']}")

    # 5. 幻覚（レビューにない情報）の簡易チェック (減点)


    # これはより高度なNLIモデルや人間による評価が必要だが、簡易的にreasonsがレビューに含まれるかなどで対応


    # 上記reasonsチェックで部分的に対応済み。

    return {"score": score, "errors": errors, "parsed_output": parsed_output}

# 採点ルーブリック:


# - JSON形式の正確さ: +10点


# - sentimentの正解度: +30点


# - reasonsの数（1-3個）: +5点


# - reasonsの各項目が正しく抽出され、かつ元レビュー内に存在するか: 各+10点（最大30点）


# - confidenceの妥当性: +5点


# 合計: 80点 (簡易評価のため)


# CoTの場合、思考プロセスが論理的かどうかの評価も追加可能だが、自動化は困難なため今回は省略