あなたは賢いアシスタントで、ユーザーの質問に答えるためにツールを使用できます。
使用可能なツールは以下の通りです。

ツール定義:
call_weather_api(city: str): 指定された都市の現在の天気を取得します。

ユーザーの要求を分析し、ツール呼び出しが必要な場合は、JSON形式でツール呼び出しを生成してください。ツールが不要な場合は、自然言語で直接応答してください。
JSON形式の例: {"function_name": "ツール名", "parameters": {"パラメータ名": "値"}}

ユーザー: 東京の天気は？
アシスタント:

あなたは賢いアシスタントで、ユーザーの質問に答えるためにツールを使用できます。
使用可能なツールは以下の通りです。

ツール定義:
call_weather_api(city: str): 指定された都市の現在の天気を取得します。

ユーザーの要求を分析し、ツール呼び出しが必要な場合は、JSON形式でツール呼び出しを生成してください。ツールが不要な場合は、自然言語で直接応答してください。
JSON形式の例: {"function_name": "ツール名", "parameters": {"パラメータ名": "値"}}

例1:
ユーザー: 今日のニューヨークの天気はどう？
アシスタント: {"function_name": "call_weather_api", "parameters": {"city": "New York"}}

例2:
ユーザー: 株価を教えてください。
アシスタント: 申し訳ありませんが、株価に関する情報を提供するツールは利用できません。

例3:
ユーザー: 大阪の天気は？
アシスタント: {"function_name": "call_weather_api", "parameters": {"city": "大阪"}}

ユーザー: {{ユーザーの質問}}
アシスタント:

あなたは賢いアシスタントで、ユーザーの質問に答えるためにツールを使用できます。
使用可能なツールは以下の通りです。

ツール定義:
call_weather_api(city: str): 指定された都市の現在の天気を取得します。

ユーザーの要求を分析し、**まず、どのようなツールが必要か、なぜそのツールを使うのかを検討してください。その上で、ツール呼び出しが必要な場合は、JSON形式でツール呼び出しを生成してください。**
ツールが不要な場合は、自然言語で直接応答してください。
JSON形式の例: {"function_name": "ツール名", "parameters": {"パラメータ名": "値"}}

思考プロセス:

1. ユーザーの意図を理解する。

2. 意図を満たすために利用可能なツールがあるか確認する。

3. ツールのパラメータを特定する。

4. JSON形式でツール呼び出しを生成する、またはツールが不要な場合は自然言語で応答する。

ユーザー: 東京の天気は？
アシスタント:
思考: ユーザーは東京の天気を尋ねています。これは`call_weather_api`ツールで対応可能です。都市は「東京」です。
{"function_name": "call_weather_api", "parameters": {"city": "東京"}}

ユーザー: {{ユーザーの質問}}
アシスタント:

import json
import re

def evaluate_function_calling(model_output: str, expected_call: dict, scenario_type: str) -> dict:
    """
    LLMのFunction Calling出力を自動評価する関数。

    Args:
        model_output (str): LLMから生成された出力文字列。
        expected_call (dict or None): 期待されるFunction CallingのJSON辞書。
                                      ツール呼び出しが期待されない場合はNone。
        scenario_type (str): 評価シナリオのタイプ（例: "正例", "難例", "コーナーケース"）。

    Returns:
        dict: 評価結果（スコア、理由、シナリオタイプ）。

    計算量: JSONパースはO(N) (Nは文字列長)、辞書比較はO(K) (Kはキー数)。
    メモリ: モデル出力、期待値の辞書サイズに依存。
    """
    score = 0.0
    reason = []
    actual_call = None

    # LLM出力からJSON形式のFunction Callingを抽出

    try:
        match = re.search(r'\{.*\}', model_output.strip(), re.DOTALL)
        if match:
            json_str = match.group(0)
            actual_call = json.loads(json_str)
        else:

            # JSON形式が見つからない場合、ツール呼び出しなしと判断

            actual_call = None
    except json.JSONDecodeError:
        actual_call = None
        reason.append("出力が有効なJSON形式ではありません。")

    # 評価ロジック

    if expected_call is None:  # ツール呼び出しが期待されないシナリオ
        if actual_call is None:
            score = 1.0
            reason.append("期待通りツール呼び出しがありませんでした。")
        else:
            score = 0.0
            reason.append(f"ツール呼び出しが期待されていませんでしたが、'{actual_call.get('function_name')}'が検出されました。")
    else:  # ツール呼び出しが期待されるシナリオ
        if actual_call:
            if actual_call.get("function_name") == expected_call.get("function_name"):
                reason.append("関数名が一致しました。")
                if actual_call.get("parameters") == expected_call.get("parameters"):
                    score = 1.0
                    reason.append("パラメータが期待通りでした。")
                else:

                    # パラメータの曖昧性や部分一致を考慮する場合、ここで詳細な比較を行う

                    score = 0.5  # 部分点
                    reason.append(f"パラメータが不一致です。期待: {expected_call.get('parameters')}, 実際: {actual_call.get('parameters')}")
            else:
                score = 0.0
                reason.append(f"期待する関数名と異なります。期待: '{expected_call.get('function_name')}', 実際: '{actual_call.get('function_name')}'")
        else:
            score = 0.0
            reason.append("ツール呼び出しが期待されましたが、検出されませんでした。")

    return {"score": score, "reason": " ".join(reason), "scenario_type": scenario_type}

# 例:


# print(evaluate_function_calling('{"function_name": "call_weather_api", "parameters": {"city": "福岡"}}', {"function_name": "call_weather_api", "parameters": {"city": "福岡"}}, "正例"))


# # 出力: {'score': 1.0, 'reason': '関数名が一致しました。パラメータが期待通りでした。', 'scenario_type': '正例'}


# print(evaluate_function_calling('申し訳ありませんが、株価に関する情報を提供するツールは利用できません。', None, "難例"))


# # 出力: {'score': 1.0, 'reason': '期待通りツール呼び出しがありませんでした。', 'scenario_type': '難例'}


# print(evaluate_function_calling('{"function_name": "call_news_api", "parameters": {"query": "今日のニュース"}}', {"function_name": "call_weather_api", "parameters": {"city": "東京"}}, "難例"))


# # 出力: {'score': 0.0, 'reason': "期待する関数名と異なります。期待: 'call_weather_api', 実際: 'call_news_api'", 'scenario_type': '難例'}