[META: PROMPT_ENGINEERING_EXPERT_2024_Q4]
本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。
プロンプト最適化の自動化：PromptWizardとAgent Lightningによる高精度エージェント構築
【ユースケース定義と課題】
複雑な顧客問い合わせに対し、適切なツールを選択・実行し、最終回答をJSON形式で出力する。推論の正確性と出力形式の維持が極めて困難。（68文字）
入出力の定義：
入力： ユーザーの非定型な問い合わせテキスト
出力：
{"action": "string", "thought": "string", "priority": 1-5}のJSON形式
【プロンプト設計のループ】
graph TD A["設計: 命令と制約の記述"] --> B["実行: PromptWizardによる反復生成"] B --> C["評価: Agent Lightningによる行動評価"] C -->|改善フィードバック| A
設計：初期プロンプトを定義し、期待される思考プロセス（CoT）を組み込む。
実行：PromptWizardのアルゴリズムを用い、成功/失敗例からプロンプトを自動変異・最適化する。
評価：Agent Lightningの考え方に基づき、推論ステップ（Trajectory）の正当性を高速に検証する。
【プロンプトの実装案】
# Role
あなたは顧客対応を専門とするAIエージェントです。
# Task
入力された問い合わせ内容を分析し、最適なアクションをJSON形式で出力してください。
# Thought Process (Chain-of-Thought)
1. ユーザーの真の意図を特定する。
2. 解決に必要なツール（DB照会、マニュアル参照、担当者転送）を選択する。
3. 選択理由を論理的に説明する。
4. 緊急度（1-5）を判定する。
# Constraints
- 出力は必ず純粋なJSONのみとし、他のテキストを含めないこと。
- 'thought'フィールドには日本語で推論プロセスを記述すること。
# Few-shot Example
Input: "昨日注文した商品の配送状況を知りたいです。"
Output: {
"action": "ORDER_TRACKING",
"thought": "ユーザーは配送状況の確認を求めているため、注文管理システムへの照会が必要です。",
"priority": 3
}
【評価指標と誤り分析】
失敗パターン：
様式崩れ： JSONの外側に説明テキストが漏れ出す（Markdown記法の混入）。
推論の飛躍（幻覚）： 根拠のないツール選択（例：配送状況なのに技術サポートへ転送）。
過度な一般化： 全ての問い合わせを「担当者転送」にする保守的バイアス。
LLM-as-a-Judge 評価基準：
| 評価項目 | 採点基準 (1-5) | 重点チェックポイント |
|---|---|---|
| フォーマット遵守 | 1 or 5 | JSONとしてパース可能か、スキーマは正しいか |
| 推論の論理性 | 1-5 | thoughtとactionに論理的な整合性があるか |
| タスク適合性 | 1-5 | ユーザーの意図に対し最適なツールを選択しているか |
【改良後の最適プロンプト】
# Role
Strategic Response Agent (Precision Mode)
# Instructions
Analyze the input text and generate a strict JSON response. Use the following reasoning framework:
[Analyze Intent] -> [Select Tool] -> [Determine Priority]
# System Constraints (Strict)
- NO prose before or after JSON.
- Tool Options: [DB_QUERY, MANUAL_LOOKUP, HUMAN_ESCALATION]
- Encoding: UTF-8
# Output Schema
{
"action": "ENUM",
"thought": "String (Logical Reasoning Steps)",
"priority": Integer (1-5)
}
# Negative Example (Do Not Do This)
"Here is the result: { ... }" -> Error: Extra text included.
# Execution
Input: {{user_input}}
Output:
【まとめ】
「PromptWizard」で指示を磨き、「Agent Lightning」で挙動を固定する： 前者は命令文の語彙を最適化し、後者は推論の「型（軌跡）」を高速に学習させる。
出力形式の強制には「Negative Example（禁止例）」が有効： 「〜しないでください」という指示を具体例として提示することで、Gemini 1.5 Pro等の最新モデルは格段に安定する。
評価の自動化（LLM-as-a-Judge）を組み込む： 人手による確認を介さず、JSONのパース可否と論理スコアでプロンプトを自動選別する環境を構築せよ。
コメント