{
  "name": "find_restaurant",
  "description": "ユーザーの指定に基づき、レストランを検索します。",
  "parameters": {
    "type": "object",
    "properties": {
      "cuisine": {
        "type": "string",
        "description": "検索する料理のジャンル（例: イタリアン、フレンチ、和食、中華）。",
        "enum": ["Italian", "French", "Japanese", "Chinese", "Indian", "Mexican", "Vegetarian"]
      },
      "location": {
        "type": "string",
        "description": "レストランを検索する都市または地域。"
      },
      "price_range": {
        "type": "string",
        "description": "価格帯（例: 'low', 'medium', 'high'）。",
        "enum": ["low", "medium", "high"],
        "default": "medium"
      },
      "has_vegetarian_option": {
        "type": "boolean",
        "description": "ベジタリアンオプションがあるかどうかのフラグ。",
        "default": false
      }
    },
    "required": ["cuisine", "location"]
  }
}

SYSTEM:
あなたはユーザーの質問に回答するために、利用可能なツールを呼び出すAIアシスタントです。
ツールを呼び出す場合は、以下の形式でJSONを出力してください:
{"function_name": "...", "arguments": {...}}
利用可能なツール：
{"name": "find_restaurant", "description": "ユーザーの指定に基づき、レストランを検索します。...", "parameters": {...}}
{"name": "get_current_time", "description": "現在の時刻を取得します。引数は不要です。", "parameters": {"type": "object", "properties": {}}}

USER:
新宿でイタリアンレストランを探してください。ベジタリアンオプションがあると嬉しいです。

SYSTEM:
あなたはユーザーの質問に回答するために、利用可能なツールを呼び出すAIアシスタントです。
ツールを呼び出す場合は、以下の形式でJSONを出力してください:
{"function_name": "...", "arguments": {...}}
利用可能なツール：
{"name": "find_restaurant", "description": "ユーザーの指定に基づき、レストランを検索します。...", "parameters": {...}}
{"name": "get_current_time", "description": "現在の時刻を取得します。引数は不要です。", "parameters": {"type": "object", "properties": {}}}

Example 1:
USER: 東京でフレンチレストランを探して。
ASSISTANT: {"function_name": "find_restaurant", "arguments": {"cuisine": "French", "location": "Tokyo"}}

Example 2:
USER: 大阪で中華、高価格帯で、ベジタリアンオプションありのレストラン。
ASSISTANT: {"function_name": "find_restaurant", "arguments": {"cuisine": "Chinese", "location": "Osaka", "price_range": "high", "has_vegetarian_option": true}}

Example 3 (Ambiguous):
USER: 何か美味しいレストランを探して。
ASSISTANT: どの地域のどんな料理がお好みですか？もう少し詳しく教えていただけますか？

USER:
札幌で和食のレストランを探してほしいな。

SYSTEM:
あなたはユーザーの質問に回答するために、利用可能なツールを呼び出すAIアシスタントです。
ツールを呼び出す場合は、まず思考プロセスを`<thought>`タグ内に記述し、その後に以下の形式でJSONを出力してください:
{"function_name": "...", "arguments": {...}}
利用可能なツール：
{"name": "find_restaurant", "description": "ユーザーの指定に基づき、レストランを検索します。...", "parameters": {...}}
{"name": "get_current_time", "description": "現在の時刻を取得します。引数は不要です。", "parameters": {"type": "object", "properties": {}}}

USER:
渋谷でメキシカンレストランを探してください。

<thought>ユーザーは渋谷でメキシカンレストランを探している。find_restaurantツールが適切であり、cuisineとlocation引数を指定する必要がある。</thought>
{"function_name": "find_restaurant", "arguments": {"cuisine": "Mexican", "location": "Shibuya"}}

import json
import re
from jsonschema import validate, ValidationError

# 定義されたFunction Callingスキーマ

FUNCTION_SCHEMAS = {
    "find_restaurant": {
        "type": "object",
        "properties": {
            "cuisine": {"type": "string", "enum": ["Italian", "French", "Japanese", "Chinese", "Indian", "Mexican", "Vegetarian"]},
            "location": {"type": "string"},
            "price_range": {"type": "string", "enum": ["low", "medium", "high"], "default": "medium"},
            "has_vegetarian_option": {"type": "boolean", "default": False}
        },
        "required": ["cuisine", "location"]
    },
    "get_current_time": {
        "type": "object",
        "properties": {}
    }
}

def evaluate_function_call(llm_output: str, expected_call: dict, expected_response_type: str = "function_call") -> dict:
    """
    LLMの出力が期待されるFunction Callingまたは自然言語応答と一致するかを評価する。
    :param llm_output: LLMからの出力文字列
    :param expected_call: 期待される関数呼び出し辞書（自然言語応答の場合はNone）
    :param expected_response_type: "function_call" または "natural_language"
    :return: 評価結果（成功/失敗、理由）
    """
    result = {"success": False, "reason": ""}

    if expected_response_type == "natural_language":
        if not re.search(r'{"function_name":', llm_output):
            result["success"] = True
            result["reason"] = "Expected natural language, no function call detected."
        else:
            result["reason"] = "Expected natural language, but detected a function call."
        return result

    # Function Callingの正規表現パターン

    match = re.search(r'{"function_name":\s*"(?P<name>[^"]+)",\s*"arguments":\s*(?P<args>{.*?})}', llm_output)

    if not match:
        result["reason"] = "No valid function call JSON detected."
        return result

    try:
        function_name = match.group("name")
        arguments_str = match.group("args")
        arguments = json.loads(arguments_str)

        # 1. 関数名の検証

        if function_name != expected_call["function_name"]:
            result["reason"] = f"Function name mismatch. Expected '{expected_call['function_name']}', got '{function_name}'."
            return result

        # 2. スキーマバリデーション

        if function_name not in FUNCTION_SCHEMAS:
            result["reason"] = f"Called an undefined function: '{function_name}'."
            return result

        # 3. 引数の値とスキーマの検証

        try:
            validate(instance=arguments, schema=FUNCTION_SCHEMAS[function_name])
        except ValidationError as e:
            result["reason"] = f"Argument validation failed for '{function_name}': {e.message}"
            return result

        # 4. 期待される引数との比較 (CoTプロンプトの場合、思考タグの除去が必要)

        actual_call = {"function_name": function_name, "arguments": arguments}
        if actual_call == expected_call:
            result["success"] = True
            result["reason"] = "Function call matches expected output."
        else:
            result["reason"] = f"Function call argument mismatch. Expected {expected_call}, got {actual_call}."

    except json.JSONDecodeError:
        result["reason"] = "Malformed JSON in function call."
    except Exception as e:
        result["reason"] = f"An unexpected error occurred during evaluation: {str(e)}"

    return result

# 評価例 (2024年7月29日 JST)


# llm_output_example = '{"function_name": "find_restaurant", "arguments": {"cuisine": "Italian", "location": "Shinjuku", "has_vegetarian_option": true}}'


# expected_output_example = {"function_name": "find_restaurant", "arguments": {"cuisine": "Italian", "location": "Shinjuku", "has_vegetarian_option": True}}


# print(evaluate_function_call(llm_output_example, expected_output_example))