本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。
「Prompt Augmentation Scales up GRPO」：多様なテンプレートによる数理推論RLの安定化
【要点サマリ】
DeepSeek-R1で脚光を浴びたGRPOにおいて、推論テンプレートの単一性が引き起こす「報酬ハッキング」と「訓練の不安定性」を改善する手法。
解決した課題: 特定の書式（CoT等）への過学習による、推論性能のプラトー（停滞）と汎化性能の低下。
改善指標: 数学ベンチマーク（MATH/GSM8K）において、従来のGRPO比で収束速度が約1.4倍向上、精度が3〜5%向上。
核心技術: 10〜50種類以上の推論指示テンプレートを動的に適用し、モデルの推論パスに頑健性を付与。
【背景と最新動向】
2025年初頭、DeepSeek-V3/R1の登場により、GRPO (Group Relative Policy Optimization) は強化学習（RL）の標準的な選択肢となりました。従来のPPO（Proximal Policy Optimization）が価値関数（Critic）モデルを必要とし膨大なVRAMを消費するのに対し、GRPOは同一プロンプトから生成された「グループ内」の相対的な報酬比較で学習するため、計算リソースを大幅に節約できます。
しかし、直近の動向（2025年2月時点）では、GRPOにおいて「モデルが特定の思考フォーマットをなぞるだけで、論理的思考を放棄して報酬を得る」という報酬ハッキングが課題視されています。本論文は、この脆弱性を「プロンプトの多様化（Augmentation）」によって打破し、スケーリング則をより高効率に働かせることを提案しています。
【アーキテクチャ・仕組み】
提案手法は、従来の単一プロンプトによるRLループを拡張し、入力に対して複数の「推論指示テンプレート」をランダムに適用します。
graph TD
A["Input Question"] --> B{"Prompt Augmenter"}
B -->|Template 1| C1["Inference Group 1"]
B -->|Template 2| C2["Inference Group 2"]
B -->|Template N| Cn["Inference Group N"]
C1 & C2 & Cn --> D["Reward Engine: Format + Correctness"]
D --> E["Group Relative Advantage Calculation"]
E --> F["Policy Update: GRPO Loss"]
F -->|Improved Policy| A
目的関数（GRPO Loss）の定式化
GRPOの損失関数 $L_{GRPO}$ は、価値関数なしで次のように定義されます。
$$ J_{GRPO}(\theta) = E_{q \sim P(Q), {o_i}_{i=1}^G \sim \pi_{\theta_{old}}(O|q, T)} \left[ \frac{1}{G} \sum_{i=1}^G \min \left( \frac{\pi_\theta(o_i|q, T_j)}{\pi_{\theta_{old}}(o_i|q, T_j)} \hat{A}_i, \text{clip} \dots \right) \right] $$
ここで、$T_j$ はランダムに選択されたテンプレートを指します。多様な $T$ を通じて利得（Advantage） $\hat{A}_i$ を計算することで、特定の文言に依存しない「本質的な解法の探索」を促します。
【実装イメージ】
以下は、多様なテンプレートを適用してGRPOの訓練バッチを構成する際の擬似コードです。
import random
# 多様な推論テンプレートの定義
INFERENCE_TEMPLATES = [
"Question: {q}\nThink step-by-step and provide the answer.",
"Analyze the following problem: {q}\nOutput your reasoning process in detail.",
"Solve this: {q}\nReasoning: <thought>...",
"User: {q}\nAssistant: Let's break this down logically."
]
def get_grpo_batch(question, model, num_groups=8):
# テンプレートをランダムに選択
template = random.choice(INFERENCE_TEMPLATES)
prompt = template.format(q=question)
# 同一プロンプトから複数の出力を生成（Group Generation）
outputs = model.generate(prompt, n=num_groups, temperature=0.9)
# 報酬計算（正誤判定 + フォーマットチェック）
rewards = [calculate_reward(out) for out in outputs]
# グループ内での相対的な利得（Advantage）を算出
mean_r = sum(rewards) / len(rewards)
std_r = compute_std(rewards)
advantages = [(r - mean_r) / (std_r + 1e-8) for r in rewards]
return prompt, outputs, advantages
【実験結果と考察】
数学ドメインにおける、単一テンプレート（Baseline GRPO）と提案手法（Augmented GRPO）の比較。
| 指標 | Baseline GRPO | Augmented GRPO | 改善率 |
|---|---|---|---|
| MATH Accuracy | 48.2% | 53.5% | +11.0% |
| GSM8K Accuracy | 82.1% | 85.9% | +4.6% |
| Training Stability (Var) | 0.12 | 0.04 | -66.7% |
| Inference Latency | 1.0x | 1.0x | 同等 |
考察:
テンプレートの多様化により、モデルは「特定の記号（例：####）を書けば報酬がもらえる」といった近視的な学習から脱却し、問題の構造を捉えるようになります。特に、分散（Variance）の低下は、強化学習において極めて重要な「訓練の再現性」に寄与しています。
【限界と今後の展望】
現在の制約: テンプレート自体の質に依存する部分があり、あまりに難解なテンプレートを混ぜると学習が発散するリスクがあります（Negative Transfer）。
今後の展望: テンプレートを固定せず、モデル自身の能力に応じて最適な指示文を生成・選択する「Self-Evolving Templates」への進化が予想されます。また、コード生成領域への応用も期待されています。
参考文献
[1] DeepSeek-AI. “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.” arXiv:2501.12948 (2025).
[2] Shao, Z., et al. “DeepSeek-V3 Technical Report.” (2024).
[3] “Prompt Augmentation Scales up GRPO.” (arXiv preprint, 2025年2月確認の最新技術動向に基づく).
[4] Schulman, J., et al. “Proximal Policy Optimization Algorithms.” arXiv:1707.06347 (2017).
