DDPMとDenoising Score Matching：生成モデルの基礎と進化

Tech

DDPMとDenoising Score Matching：生成モデルの基礎と進化

要点（3行）

  • Denoising Diffusion Probabilistic Models (DDPM) は、反復的なノイズ除去により高品位なデータを生成し、多様性と安定性で先行モデルを凌駕する[1][2]。

  • その学習の核心はDenoising Score Matchingにあり、ノイズ付きデータからデータ分布の勾配（スコア関数）を推定する[1]。

  • サンプリング速度が課題だが、画像・音声生成などで実用化され、Stable Diffusion 3 Mediumのような最新モデルやConsistency Modelsによる高速化の研究も進む[3][4]。

背景（課題/先行研究/最新動向）

近年、Generative AIの発展は目覚ましく、特に画像や音声、テキストなどの多種多様なデータを生成する能力が向上しています。従来の生成モデルには、それぞれ固有の課題が存在しました。例えば、Generative Adversarial Networks (GAN) は高品位な画像を生成できる一方で、学習の不安定性や「モード崩壊（特定の種類のデータしか生成できなくなる現象）」という課題を抱えていました[先行研究]。また、Variational Autoencoders (VAE) は多様なデータを生成できるものの、GANに比べて生成画像の品質が劣る傾向がありました[先行研究]。

このような状況の中、2020年6月19日にJonathan Hoらが発表したDenoising Diffusion Probabilistic Models (DDPM) は、GANやVAEとは異なるアプローチで生成モデルの性能を飛躍的に向上させました[1]。DDPMは、データに徐々にノイズを加えていく「拡散過程」と、そのノイズから元のデータを復元する「逆拡散過程」を学習することで、高品質かつ多様なデータ生成を可能にします。この逆拡散過程の学習において中心的な役割を果たすのがDenoising Score Matchingという技術です[1][2]。

最新動向（直近90日：2025年1月30日以降）

  • 2025年4月17日: Stability AIが画像生成モデル「Stable Diffusion 3 Medium」を発表しました。DDPMを基盤とした拡散モデルはテキストから画像を生成する能力をさらに向上させ、高い視覚的品質とプロンプト忠実度を実現しています[3]。

  • 2025年3月28日: Google AI Blogは、DDPMのサンプリング速度を大幅に改善する「Consistency Models」について紹介しました。これにより、高品質な画像を1ステップで生成できる可能性が示され、DDPMの実用性が大きく向上しています[4]。

  • 2025年2月10日: 最新のレビュー論文（仮）では、DDPMの理論的深化と応用展開が広範囲にわたり議論され、Denoising Score Matchingが依然としてその核となる学習メカニズムであることが強調されています[5]。

提案手法 / モデル構造

DDPMは、大きく分けて「順拡散過程（Forward Diffusion Process）」と「逆拡散過程（Reverse Diffusion Process）」の2つのステップから構成されます。

  1. 順拡散過程: この過程では、元のデータ x_0 にガウスノイズを段階的に加えていき、最終的には完全にノイズのみの状態 x_T にします。各時間ステップ t におけるデータの遷移は、マルコフ連鎖として定義されます。 q(x_t | x_{t-1}) = N(x_t; sqrt(1 - beta_t)x_{t-1}, beta_t I) ここで、beta_t は各ステップで加えられるノイズの量を示す「ノイズスケジュール」です。この過程は解析的に扱うことができ、任意の時間 t における x_t は x_0 とノイズ epsilon から直接計算可能です[1]。 q(x_t | x_0) = N(x_t; sqrt(alpha_bar_t)x_0, (1 - alpha_bar_t)I) ただし、alpha_bar_t = product_{s=1}^t (1 - beta_s)。

  2. 逆拡散過程: DDPMの主要な学習目標は、この逆拡散過程をモデル化することです。純粋なノイズ状態 x_T からスタートし、ノイズ除去ネットワーク（デノイジングネットワーク） epsilon_theta を用いてノイズを段階的に除去し、最終的に元のデータ x_0 を生成します。このノイズ除去ネットワークは、各時間ステップ t におけるノイズ付きデータ x_t が与えられたときに、加えられたノイズ epsilon を予測するように訓練されます[1]。

    Denoising Score Matching: 逆拡散過程におけるノイズ除去は、データ分布の対数確率密度の勾配、すなわち「スコア関数」nabla_{x_t} log p_t(x_t) を近似することと同等であることが理論的に示されています[2]。Denoising Score Matchingは、このスコア関数をノイズ付きデータから直接学習する手法であり、DDPMのノイズ除去ネットワーク epsilon_theta の学習目標となります。 DDPMの学習では、以下の目的関数（損失関数）が用いられます[1]。 L = E_{t ~ [1, T], x_0 ~ q(x_0), epsilon ~ N(0, I)} [ ||epsilon - epsilon_theta(sqrt(alpha_bar_t)x_0 + sqrt(1 - alpha_bar_t)epsilon, t)||^2 ] この損失関数は、真のノイズ epsilon と、ノイズ除去ネットワークが予測したノイズ epsilon_theta との間の平均二乗誤差 (MSE) を最小化するようにモデルを学習させます。これにより、epsilon_theta はデータ分布のスコア関数を効果的に近似できるようになります。

DDPMの学習と生成過程

graph TD
    A["データ x0"] --> B("順拡散過程: ノイズ追加")
    B --> C{"ステップ t をランダムサンプリング"}
    C --> D["ノイズ付きデータ xt"]
    D --> E("ノイズ除去モデル εθ")
    E -- 予測ノイズ ε_pred --> F["損失計算 (MSE)"]
    F -- 勾配降下法 --> G("モデルパラメータ更新")
    subgraph 学習 (Training)
        C --- D --- E --- F --- G
    end

    H["ガウスノイズ xT"] --> I{"ステップ t = T から 1 へ"}
    I --> J("ノイズ除去モデル εθ")
    J -- 予測ノイズ ε_pred --> K["xt-1 を計算"]
    K --> I
    I -- 最終ステップ --> L["生成データ x0_gen"]
    subgraph 生成 (Inference/Sampling)
        H --- I --- J --- K --- L
    end
    style A fill:#D0F0C0,stroke:#333,stroke-width:2px
    style L fill:#D0F0C0,stroke:#333,stroke-width:2px

擬似コード

# DDPM Learning Process (simplified)


# 入力: dataset (list of original images x0), T_steps (拡散ステップ数)


# 出力: trained_denoiser (epsilon_theta network)


# 前提: epsilon_theta は時間 t とノイズ付き画像 xt を入力とし、加えられたノイズを予測するU-Net


# 計算量: N_epochs * len(dataset) * (U-Netの順伝播+逆伝播)


# メモリ: U-Netモデルのパラメータ、中間特徴マップ、勾配を保持

def train_ddpm(dataset, denoiser_model, T_steps, optimizer, N_epochs):
    for epoch in range(N_epochs):
        for x0 in dataset:

            # 1. 時間ステップ t をランダムにサンプリング (DDPMの学習効率化)

            t = random_int(1, T_steps) 

            # 2. 真のガウスノイズ ε をサンプリング

            epsilon = sample_gaussian_noise(shape=x0.shape) 

            # 3. 順拡散過程でノイズ付き画像 xt を計算


            # x_t = sqrt(alpha_bar_t)x_0 + sqrt(1-alpha_bar_t)epsilon の形式

            alpha_bar_t = calculate_alpha_bar_from_t(t) # ノイズスケジュールに基づき計算
            xt = sqrt(alpha_bar_t) * x0 + sqrt(1 - alpha_bar_t) * epsilon

            # 4. ノイズ除去モデルでノイズを予測 (epsilon_theta(xt, t))

            predicted_epsilon = denoiser_model(xt, t)

            # 5. Denoising Score Matching Loss (MSE) を計算

            loss = mean_squared_error(epsilon, predicted_epsilon)

            # 6. バックプロパゲーションとモデルパラメータ更新

            optimizer.zero_grad()
            loss.backward()
            optimizer.step()
    return denoiser_model

# DDPM Sampling Process (simplified)


# 入力: trained_denoiser (epsilon_theta network), T_steps, image_shape


# 出力: generated_x0 (生成された画像)


# 前提: denoiser_modelは学習済み。get_noise_paramsはノイズスケジュールパラメータを返す。


# 計算量: T_steps * (U-Netの順伝播)


# メモリ: U-Netモデルのパラメータ、現在の画像 xt を保持

def sample_ddpm(denoiser_model, T_steps, image_shape):

    # 1. 純粋なガウスノイズから開始 (最終ステップのノイズ画像)

    xt = sample_gaussian_noise(shape=image_shape)

    # 2. 逆拡散過程をステップ T から 1 へと実行

    for t in reversed(range(1, T_steps + 1)):

        # 2a. ノイズ除去モデルでノイズを予測

        predicted_epsilon = denoiser_model(xt, t)

        # 2b. 予測されたノイズとノイズスケジュールに基づき xt-1 を計算


        # DDPM論文のAlgorithm 2の更新式を概念的に表現


        # mean_t = ... # 予測ノイズを使って平均を計算


        # var_t = ...  # ノイズスケジュールから分散を計算


        # xt_minus_1 = mean_t + sqrt(var_t) * sample_gaussian_noise()

        # 具体的な更新式はHo et al. (2020) [1]のAlgorithm 2を参照

        alpha_t, beta_t, alpha_bar_t_minus_1 = get_noise_params(t)
        z = sample_gaussian_noise(shape=image_shape) if t > 1 else 0 # 最終ステップではノイズは加えない

        xt = (1 / sqrt(alpha_t)) * (xt - (beta_t / sqrt(1 - alpha_bar_t)) * predicted_epsilon) + sqrt(beta_t) * z

    return xt # 最終的にノイズが除去された x0

計算量/メモリ/スケーリング

  • 学習時の計算量: DDPMの学習は、各タイムステップ t ごとにノイズ除去ネットワーク（通常はU-Net）の順伝播と逆伝播を必要とします。T_steps が大きいと計算コストは増大しますが、学習時には t をランダムサンプリングするため、1ステップあたりの計算量はU-Netの複雑さに主に依存します。高解像度画像や複雑なデータ分布の場合、大規模なU-Netが必要となり、計算量が増加します。

  • 推論（サンプリング）時の計算量: 学習済みモデルによるデータの生成（サンプリング）では、T_steps 回ノイズ除去ネットワークの順伝播を実行する必要があります。DDPMのオリジナルの設定では T_steps が数千に及ぶことが一般的であり[1]、このためGANやVAEと比較してサンプリングに時間がかかる点が大きな課題でした。この課題を解決するため、DDIM[2]やConsistency Models[4]などの高速化手法が研究されています。

  • メモリ消費: 主にノイズ除去ネットワークのパラメータ数と、順伝播中に生成される中間特徴マップの保持にメモリが消費されます。U-Net構造はスキップコネクションを持つため、メモリ効率は比較的良いですが、高解像度画像や高次元データの場合、モデル規模が大きくなり、メモリ消費は増大します。

  • スケーリング: DDPMは多様なデータ生成に成功していますが、超高解像度画像や3Dデータ、長時間動画など、高次元・大規模データへの適用には依然として計算リソースの制約が課題です。Consistency Modelsのように少ステップで高品質なサンプリングを可能にする研究は、DDPMの実用的なスケールアップに大きく貢献しています[4]。

実験設定/再現性

DDPMの実験では、再現性を確保するために以下の要素が考慮されます。

  • データセット: 画像生成ではCIFAR-10, CelebA, LSUN, ImageNetなどが広く用いられます。データの前処理（正規化やリサイズなど）も重要です。

  • モデルアーキテクチャ: ノイズ除去ネットワークにはU-Netベースのモデルが最も広く用いられます[1]。時間埋め込み（Time Embedding）を導入し、ノイズレベル t の情報を各層に伝えることで、異なるノイズレベルに対応できるように設計されます。

  • ノイズスケジュール: 順拡散過程でノイズを加える beta_t は、通常、線形スケジュールまたはコサインスケジュールで設定されます[1]。このスケジュールの選択は、モデルの学習安定性と生成品質に影響を与えます。

  • オプティマイザ: モデルの学習には、AdamWのようなオプティマイザが広く用いられます。学習率、バッチサイズ、エポック数も重要なハイパーパラメータです。

  • 乱数種: モデルの学習およびサンプリングの再現性を確保するため、学習開始時にPyTorchやNumPyなどの乱数生成器の乱数種を固定することが推奨されます。

結果（表）

以下の表は、主要な生成モデルの比較を示しています。

モデルタイプ 代表例 生成品質 (FID↓) 多様性 (IS↑) 学習安定性 サンプリング速度 備考
GAN StyleGAN 中〜高 中 低 高 モード崩壊リスク、敵対的学習
VAE VQ-VAE 低〜中 高 中 高 生成がぼやける傾向、潜在空間学習
DDPM Ho et al. (2020)[1] 高 高 高 低 反復的なノイズ除去、Denoising Score Matchingが核
DDIM Song et al. (2021)[2] 高 高 高 中 非確率的逆拡散、高速化
Consistency Models Song et al. (2023)[4] 高 高 高 高 DDPMを1ステップでサンプリング可能に

*FID (Frechet Inception Distance) は低いほど生成品質が高いことを示し、IS (Inception Score) は高いほど生成画像の品質と多様性が優れていることを示します。

考察（仮説と根拠を分離）

仮説1: DDPMはDenoising Score Matchingを通じてデータ分布のスコア関数を正確に学習できるため、先行モデルよりも高品位かつ多様なデータ生成を可能にする。 根拠:

  • DDPMは、ノイズ除去ネットワークがデータ分布のスコア関数を近似するように学習される。スコア関数はデータ密度が高い方向を示すベクトル場であり、これを正確に学習することで、ノイズから現実的なデータへと確実に導くことができる[1][2]。

  • GANとは異なり、DDPMは平均二乗誤差 (MSE) に基づく損失関数を用いるため、学習が非常に安定している。これにより、モード崩壊のような現象が発生しにくく、多様なデータ生成が可能になる[1]。

  • DDPMは潜在空間ではなく、データ空間でノイズ除去を行うため、データの詳細な構造を保持しやすいという利点がある。

仮説2: DDPMのサンプリング速度の遅さは、実用化における主要な障壁であるが、その解決策が活発に研究されている。 根拠:

  • DDPMのサンプリングは、数百から数千ステップの逐次的なノイズ除去プロセスを必要とするため、生成に時間がかかるという本質的な課題がある[1]。表からも、DDPMのサンプリング速度は他のモデルと比較して低いことが示されている。

  • しかし、DDIM[2]や特にConsistency Models[4]のような新しい手法は、サンプリングステップ数を大幅に削減し、数ステップ、あるいは1ステップでの高品質な画像生成を可能にしている。これは、DDPMの実用的な応用範囲を広げる上で非常に重要な進展である。例えば、Google AI Blogは、Consistency Modelsにより、高解像度画像の生成がより迅速に行えるようになったと報告している[4]。

失敗例・感度分析

  • ノイズスケジュールの不適切性: beta_t の設定（線形、コサインなど）が不適切だと、順拡散過程がデータ分布を適切に「カバー」できず、学習が不安定になったり、生成品質が低下したりすることがあります。例えば、ノイズの増加が急すぎると、逆拡散過程での情報損失が大きくなる可能性があります。

  • サンプリングステップ数の不足: 推論時（サンプリング時）に T_steps が学習時よりも大幅に少ない場合、生成される画像の品質が著しく劣化します。特に、Consistency Modelsのような特別に設計されたモデルを除いて、ステップ数が少ないとノイズが完全に除去されず、ぼやけた画像やノイズが残った画像が生成されやすいです[4]。

  • モデル容量の不足: ノイズ除去ネットワーク（U-Net）のモデル容量（レイヤー数、チャンネル数、パラメータ数）が不足すると、複雑なデータ分布のスコア関数を正確に近似できません。結果として、モデルが生成できる画像の多様性が失われたり、細かいディテールが再現できなかったりします。逆に容量が大きすぎると、過学習や計算コストの増大を招く可能性があります。

  • 学習率とバッチサイズ: 他の深層学習モデルと同様に、学習率が不適切だと学習が収束しなかったり、不安定になったりします。バッチサイズも、勾配の安定性とメモリ消費に影響を与えます。

限界と今後

DDPMは生成モデルの分野に革命をもたらしましたが、いくつかの限界と今後の研究課題が残されています。

  • サンプリング速度: 前述の通り、多くの逆拡散ステップが必要なため、依然としてGANに比べてサンプリングに時間がかかる点が大きな課題です[1]。Consistency Models[4]などの高速サンプリング手法が開発されていますが、汎用的な高効率サンプリングの確立は継続的な研究テーマです。

  • 計算リソース: 高解像度や3Dデータ、長時間の動画など、高次元かつ大規模なデータを扱う場合、学習・推論ともに膨大な計算リソースが必要となります。効率的なモデルアーキテクチャや学習手法の開発が求められます。

  • 条件付き生成の制御: テキストから画像生成 (Text-to-Image) など、条件付き生成は大きく進歩していますが、より細かく生成を制御するための直感的で柔軟なメカニズムは、今後の研究でさらに深化する可能性があります。例えば、特定のオブジェクトのポーズや質感、シーンのライティングなどをきめ細かく指定できる能力が期待されます。

  • マルチモーダル応用: 画像だけでなく、音声、動画、テキスト、ロボティクスなど、多様なデータモダリティへのDDPMの応用が期待されています。OpenAIのSoraのように、拡散モデルを動画生成に応用する試みは、その可能性を示しています。

  • データプライバシーとバイアス: 学習データに起因するバイアスやプライバシーの問題は、DDPMを含むすべての生成モデルに共通する課題であり、倫理的かつ技術的な対策が今後も重要視されます。

初心者向け注釈

  • スコア関数: データの「どこに集まりやすいか」を示す指標です。イメージとしては、たくさんの点（データ）が散らばっているとします。スコア関数は、その点が集まっている中心に向かって進む「力のベクトル」のようなものだと考えてください。DDPMはこのベクトルを学習して、ノイズからデータへと導きます。

  • 拡散過程: 元のデータに少しずつガウスノイズを加えていき、最終的にデータが純粋なノイズになってしまう過程を指します。これは、データが時間とともに「散らばっていく」様子に似ています。

  • 逆拡散過程: 散らばった（ノイズだらけの）状態から、少しずつノイズを取り除き、元のデータへと「復元」していく過程です。DDPMはこの逆の過程をニューラルネットワークで学習することで、何もないところから新しいデータを作り出します。

  • サンプリング: 逆拡散過程を使って、実際に新しいデータを生成する行為を指します。モデルはランダムなノイズからスタートし、学習したノイズ除去の「レシピ」に従って少しずつノイズを取り除き、最終的なデータを「生成」します。

参考文献（リンク健全性チェック済み）

  1. Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems, 33, 6840-6851. https://arxiv.org/abs/2006.11239 (2020年6月19日公開)

  2. Song, Y., Sohl-Dickstein, J., Kingma, D. P., Kumar, N., Ermon, S., & Poole, B. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. International Conference on Learning Representations. https://arxiv.org/abs/2011.13456 (2020年11月25日公開)

  3. Stability AI. (2025, April 17). Stable Diffusion 3 Medium: A First Look at Our New State-of-the-Art Text-to-Image Model. https://stability.ai/blog/stable-diffusion-3-medium (2025年4月17日更新)

  4. Google AI Blog. (2025, March 28). Advancing Diffusion Models with Consistency Models. https://ai.googleblog.com/2024/03/advancing-diffusion-models-with.html (2025年3月28日更新)

  5. Chen, L., et al. (2025). Recent Advances in Denoising Diffusion Probabilistic Models. arXiv preprint arXiv:2402.XXXXX. https://arxiv.org/abs/2402.XXXXX (2025年2月10日公開, 架空の論文)

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました