[arXiv] Prompt Augmentation Scales up GRPO: 多様な推論テンプレートによる数学的思考の安定化

Tech

  • 執筆トーン：技術的専門性と客観性を重視しつつ、実用性を備えたプロフェッショナルな解説。

  • 文体：です・ます調を基本とし、重要な概念は太字で強調。

  • 構造：論理的なセグメント化、Mermaidによる視覚化、数式による定式化。

  • 品質基準：一次情報（arXiv論文等）に準拠し、根拠のない断定を避ける。

本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。

[arXiv] Prompt Augmentation Scales up GRPO: 多様な推論テンプレートによる数学的思考の安定化

【要点サマリ】 GRPOにおける推論テンプレートの単一性を排除し、多様なプロンプト拡張によって数学的推論の学習効率と精度を大幅に向上させる手法。

  • 単一テンプレートへの過学習を防ぎ、報酬（Reward）の停滞を解消。

  • GSM8KおよびMATHベンチマークにおいて、従来比で5〜10%の精度向上を確認。

  • 訓練時の多様性が推論時の自己修正（Self-Correction）能力の向上に寄与。

【背景と最新動向】 2024年末から2025年初頭にかけて、DeepSeek-V3やR1で採用されたGRPO (Group Relative Policy Optimization)は、従来のPPO（Proximal Policy Optimization）から批判モデル（Critic）を排除し、計算資源を大幅に削減する革新的な手法として注目されています。

しかし、従来のGRPOを用いた数学訓練では、「思考プロセス（）」を特定の形式に固定する傾向がありました。これにより、モデルが特定の表現パターンに依存（過学習）し、複雑な問題に対して思考の柔軟性を失う課題が指摘されていました。本論文は、この「テンプレート依存性」をプロンプト拡張（Prompt Augmentation）によって解決するアプローチを提案しています。

【アーキテクチャ・仕組み】 提案手法の核となるのは、訓練時に各問題に対してランダムに異なるシステムプロンプトおよび思考フォーマットを適用する点です。これにより、モデルは特定の形式に従うことではなく、論理の本質を追求するように誘導されます。

graph TD
    A["Original Math Problem"] --> B{"Prompt Augmenter"}
    B -->|Template A| C1["Inference Sample 1"]
    B -->|Template B| C2["Inference Sample 2"]
    B -->|Template N| C3["Inference Sample N"]
    C1 & C2 & C3 --> D["GRPO Group Reward Calculation"]
    D --> E["Update Policy Model"]
    E -->|Feedback| B

GRPOの報酬計算式は、グループ内の平均スコアからの相対的な改善度を用います。 $$ J_{GRPO}(\theta) = E_{q \sim P_{\theta}} \left[ \sum_{i=1}^{G} \min \left( \frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{old}}(o_i|q)} \hat{A}_i, \text{clip} \left( \frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{old}}(o_i|q)}, 1-\epsilon, 1+\epsilon \right) \hat{A}_i \right) \right] $$ ここで、$\hat{A}_i = \frac{r_i – \text{mean}(r)}{\text{std}(r)}$ はグループ内の相対的なアドバンテージです。プロンプト拡張により、$r_i$ の多様性が確保され、勾配のバリアンスが抑制されます。

【実装イメージ】 以下は、多様なテンプレートをサンプリングしてGRPOの訓練ループに投入するための、最小構成のPython疑似実装です。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 多様な思考テンプレートの定義

TEMPLATES = [
    "Solve the following math problem step by step within <thought> tags.",
    "Think carefully and explain your reasoning in <reasoning> blocks.",
    "Show your work and then provide the final result.",
    "Let's breakdown this problem. Focus on logic first."
]

def augment_prompt(problem, templates):
    import random
    template = random.choice(templates)
    return f"{template}\nQuestion: {problem}"

# GRPOの訓練ステップ（簡略化）

def grpo_step(model, problems):
    augmented_prompts = [augment_prompt(p, TEMPLATES) for p in problems]

    # ここでグループサンプリングを行い、報酬を計算


    # outputs = model.generate(augmented_prompts, num_return_sequences=8)


    # rewards = calculate_math_rewards(outputs)


    # loss = compute_grpo_loss(outputs, rewards)

    pass

【実験結果と考察】 論文内の実験データに基づくと、プロンプト拡張の有無による性能差は、特に複雑な多段階推論が必要なタスクで顕著です。

手法 GSM8K (Accuracy) MATH (Accuracy) 計算コスト（訓練時）
Baseline GRPO (Fixed Template) 82.5% 45.2% 1.0x
Prompt Augmentation GRPO 89.1% 52.8% 1.05x
DeepSeek-R1 (Distill) 91.2% 55.4% –

考察：計算コストをほとんど増加させずに、モデルの汎化性能を飛躍的に高めることが可能です。これは、モデルが特定の「言い回し」を覚えるのではなく、数学的構造の理解を優先し始めるためだと考えられます。

【限界と今後の展望】

  • 限界: 非常に単純な問題においては、プロンプトの多様性が逆にノイズとなり、収束が遅れる場合があります。

  • 展望: 今後は、強化学習の進捗に合わせてテンプレートの難易度や複雑さを自動調整する「適応型プロンプト拡張」の研究が進むと予測されます。また、多言語数学環境への応用も期待されています。

参考文献：

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました