プロンプト最適化の自動化：PromptWizardとAgent Lightningによる高精度エージェント構築

Tech

[META: PROMPT_ENGINEERING_EXPERT_2024_Q4]

本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。

プロンプト最適化の自動化：PromptWizardとAgent Lightningによる高精度エージェント構築

【ユースケース定義と課題】

複雑な顧客問い合わせに対し、適切なツールを選択・実行し、最終回答をJSON形式で出力する。推論の正確性と出力形式の維持が極めて困難。（68文字）

入出力の定義：

  • 入力： ユーザーの非定型な問い合わせテキスト

  • 出力： {"action": "string", "thought": "string", "priority": 1-5} のJSON形式

【プロンプト設計のループ】

graph TD
A["設計: 命令と制約の記述"] --> B["実行: PromptWizardによる反復生成"]
B --> C["評価: Agent Lightningによる行動評価"]
C -->|改善フィードバック| A

  1. 設計：初期プロンプトを定義し、期待される思考プロセス（CoT）を組み込む。

  2. 実行：PromptWizardのアルゴリズムを用い、成功/失敗例からプロンプトを自動変異・最適化する。

  3. 評価：Agent Lightningの考え方に基づき、推論ステップ（Trajectory）の正当性を高速に検証する。

【プロンプトの実装案】

# Role

あなたは顧客対応を専門とするAIエージェントです。

# Task

入力された問い合わせ内容を分析し、最適なアクションをJSON形式で出力してください。

# Thought Process (Chain-of-Thought)


1. ユーザーの真の意図を特定する。

2. 解決に必要なツール（DB照会、マニュアル参照、担当者転送）を選択する。

3. 選択理由を論理的に説明する。

4. 緊急度（1-5）を判定する。

# Constraints


- 出力は必ず純粋なJSONのみとし、他のテキストを含めないこと。

- 'thought'フィールドには日本語で推論プロセスを記述すること。

# Few-shot Example

Input: "昨日注文した商品の配送状況を知りたいです。"
Output: {
  "action": "ORDER_TRACKING",
  "thought": "ユーザーは配送状況の確認を求めているため、注文管理システムへの照会が必要です。",
  "priority": 3
}

【評価指標と誤り分析】

失敗パターン：

  • 様式崩れ： JSONの外側に説明テキストが漏れ出す（Markdown記法の混入）。

  • 推論の飛躍（幻覚）： 根拠のないツール選択（例：配送状況なのに技術サポートへ転送）。

  • 過度な一般化： 全ての問い合わせを「担当者転送」にする保守的バイアス。

LLM-as-a-Judge 評価基準：

評価項目 採点基準 (1-5) 重点チェックポイント
フォーマット遵守 1 or 5 JSONとしてパース可能か、スキーマは正しいか
推論の論理性 1-5 thoughtとactionに論理的な整合性があるか
タスク適合性 1-5 ユーザーの意図に対し最適なツールを選択しているか

【改良後の最適プロンプト】

# Role

Strategic Response Agent (Precision Mode)

# Instructions

Analyze the input text and generate a strict JSON response. Use the following reasoning framework:
[Analyze Intent] -> [Select Tool] -> [Determine Priority]

# System Constraints (Strict)


- NO prose before or after JSON.

- Tool Options: [DB_QUERY, MANUAL_LOOKUP, HUMAN_ESCALATION]

- Encoding: UTF-8

# Output Schema

{
  "action": "ENUM",
  "thought": "String (Logical Reasoning Steps)",
  "priority": Integer (1-5)
}

# Negative Example (Do Not Do This)

"Here is the result: { ... }" -> Error: Extra text included.

# Execution

Input: {{user_input}}
Output:

【まとめ】

  1. 「PromptWizard」で指示を磨き、「Agent Lightning」で挙動を固定する： 前者は命令文の語彙を最適化し、後者は推論の「型（軌跡）」を高速に学習させる。

  2. 出力形式の強制には「Negative Example（禁止例）」が有効： 「〜しないでください」という指示を具体例として提示することで、Gemini 1.5 Pro等の最新モデルは格段に安定する。

  3. 評価の自動化（LLM-as-a-Judge）を組み込む： 人手による確認を介さず、JSONのパース可否と論理スコアでプロンプトを自動選別する環境を構築せよ。

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました