拡散モデル(DDPM)の仕組みと応用：画像生成から多様なデータ生成まで

Tech

拡散モデル(DDPM)の仕組みと応用：画像生成から多様なデータ生成まで

要点（3行）

  • 拡散モデル(DDPM)は、データにノイズを付加する順方向プロセスと、ノイズを除去してデータを生成する逆方向プロセスを通じて、高品質な画像、音声、動画、3Dデータなどを生成します。

  • 主要な技術キーポイントは、U-Netに基づくノイズ予測器、ノイズスケジューリング、そして潜在空間での学習や高速サンプリング手法による効率化です。

  • 計算リソースと推論時間の効率化が重要であり、潜在拡散モデルやConsistency Modelsがその進化を牽引し、多様な生成AIタスクへの応用が推奨されます。

背景（課題/先行研究/最新動向）

従来の生成モデルであるGAN (Generative Adversarial Networks) は、高品質な画像を生成できる一方で、学習の不安定さやモード崩壊（多様性の欠如）といった課題を抱えていました。また、VAE (Variational Autoencoders) は潜在空間の連続性を保証しやすいものの、生成される画像のシャープさやリアリティに限界がありました。これらの課題に対し、拡散モデルは、生成プロセスを安定したノイズ除去の問題として再定式化することで、高品質かつ多様なデータ生成を可能にしました。

拡散モデルは、情報拡散の物理プロセスに着想を得ており、データの構造を徐々に分解する順方向プロセスと、その逆のプロセスでデータを再構築するモデルを学習します。その起源は、Score-based Generative Models [1] やDenoising Diffusion Probabilistic Models (DDPM) [2] に遡ります。

最新動向（直近90日以内、2024年07月30日基準）

  • Google Cloudは、テキストから画像を生成するImagen 3の提供を2024年05月14日に発表し、より高品質で高精細な画像生成が可能になりました [3]。

  • Stability AIは、新たなテキスト・ツー・画像モデルであるStable Diffusion 3 Mediumを2024年06月19日にリリースし、多様なテキストプロンプトに対する高い忠実度と画像品質を実現しています [4]。

  • 拡散モデルは、画像や動画生成だけでなく、創薬分野における分子設計など、科学研究分野への応用も進んでいます。例えば、2024年03月08日には、拡散モデルを薬物設計に応用する包括的なレビュー論文が発表されています [5]。

提案手法 / モデル構造

拡散モデルの核となるのは、データにノイズを徐々に付加する順方向プロセスと、その逆でノイズを取り除き、クリーンなデータを生成する逆方向プロセスです。

  1. 順方向プロセス (Forward Diffusion Process): これは、与えられたデータ（例: 画像 X₀）に、小さなガウシアンノイズを繰り返し加えるプロセスです。このプロセスはマルコフ連鎖として定義され、各ステップ t において、前のステップ X_{t-1} のデータにノイズが追加され X_t が生成されます。十分なステップ数を経ると、データは最終的に純粋なガウシアンノイズ X_T になります。このプロセスは固定されており、学習は不要です。

  2. 逆方向プロセス (Reverse Diffusion Process): このプロセスがモデルの学習対象となります。ノイズを含むデータ X_t から、一段階前の、よりノイズの少ないデータ X_{t-1} を予測するモデル pθ(X_{t-1} | X_t) を学習します。具体的には、各ステップでデータから追加されたノイズを予測し、それを差し引くことで元のデータを復元します。 多くの拡散モデルでは、このノイズ予測器としてU-Net構造のニューラルネットワークが用いられます。U-Netは、入力と同じサイズの出力を生成するため、画像生成タスクに非常に適しています。学習時には、ランダムなノイズレベル t でノイズが付加された画像 X_t をU-Netに入力し、真のノイズ ε を予測するように訓練します。

全体フロー（Mermaid）

graph TD
    A["オリジナルデータ X0"] -->|ガウシアンノイズを段階的に付加| B("順方向プロセス");
    B --> C1(X1);
    C1 --> C2(X2);
    C2 --> C3(...);
    C3 --> D["最終ノイズ Xt"];

    D -->|学習済みノイズ予測器 εθ(Xt, t) を用いてノイズを推定| E("逆方向プロセス");
    E --> F1("Xt-1を推定");
    F1 --> F2("Xt-2を推定");
    F2 --> F3(...);
    F3 --> G["生成データ X0'"];

    subgraph 順方向プロセス
        A -- ノイズ付加 --> D;
    end

    subgraph 逆方向プロセス (生成)
        D -- ノイズ除去学習 --> G;
    end

擬似コード / 最小Python

以下は、拡散モデルのサンプリング（生成）プロセスの簡略化された擬似コードです。U-Netのようなノイズ予測モデルは学習済みであることを前提とします。

import torch
import tqdm # 進捗バー用

# 仮のU-Netモデル (実際は学習済みモデルを使用)

class UNet(torch.nn.Module):
    def __init__(self, in_channels, out_channels):
        super().__init__()

        # 簡略化のため、ここではダミーの実装


        # 実際のU-NetはResNetブロック、Attention機構など複雑な構造を持つ

        self.dummy_conv = torch.nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1)
        self.time_emb_proj = torch.nn.Linear(1, out_channels) # 時刻埋め込みを模倣

    def forward(self, x: torch.Tensor, t: torch.Tensor) -> torch.Tensor:

        # x: ノイズを含む画像テンソル (batch_size, channels, H, W)


        # t: 時刻ステップテンソル (batch_size, 1)

        # 時刻埋め込みを簡易的に処理（実際はSinusoidal Positional Embeddingsなど）

        time_emb = self.time_emb_proj(t.float().unsqueeze(1))

        # 時間埋め込みを空間次元に拡張して、画像特徴と結合すると仮定

        time_emb_expanded = time_emb.view(time_emb.shape[0], time_emb.shape[1], 1, 1).expand(-1, -1, x.shape[2], x.shape[3])

        # 画像と時刻埋め込みを結合してノイズを予測 (非常に簡略化された表現)


        # 実際のU-Netはエンコーダー・デコーダー構造を持つ


        # このダミーは入力サイズと出力サイズを合わせるだけ

        dummy_output = self.dummy_conv(x)
        return dummy_output + time_emb_expanded # ノイズを模倣したランダムなテンソルを返す

# DDPMサンプリングプロセスの擬似コード


# 入力: model (学習済みノイズ予測U-Net), img_size (int), channels (int), timesteps (int), device (str)


# 出力: 生成された画像テンソル (torch.Tensor)


# 前提: modelはノイズを含む画像とタイムステップを入力としてノイズを予測する関数


# 計算量: O(timesteps * model_inference_cost) - model_inference_costはU-Netの順伝播計算量


# メモリ: O(img_size * img_size * channels) + O(model_parameters)

def ddpm_sample(model: torch.nn.Module, img_size: int, channels: int, timesteps: int, device: str) -> torch.Tensor:

    # 逆方向プロセスのためのベータスケジュール（DDPM論文の簡略化版）


    # 実際はより複雑なスケジュールとalpha_bar_tが使われる

    betas = torch.linspace(0.0001, 0.02, timesteps, device=device)
    alphas = 1.0 - betas
    alpha_bars = torch.cumprod(alphas, dim=0)

    # 初期状態: 純粋なノイズ（標準正規分布）

    x = torch.randn((1, channels, img_size, img_size), device=device)

    # 逆方向プロセス（ノイズ除去ステップ）

    for t in tqdm.tqdm(reversed(range(1, timesteps + 1)), desc="DDPM Sampling"):
        time_tensor = torch.full((1,), t, device=device, dtype=torch.long) # 時刻をモデルに渡す

        # ノイズ予測

        predicted_noise = model(x, time_tensor)

        # DDPMのノイズ除去ステップの数式 (簡略化)


        # x_t-1 = (1 / sqrt(alpha_t)) * (x_t - (beta_t / sqrt(1 - alpha_bar_t)) * predicted_noise) + sqrt(beta_t) * z

        alpha_t = alphas[t-1]
        alpha_bar_t = alpha_bars[t-1]
        beta_t = betas[t-1]

        # ノイズ項 z は最後のステップで0にする

        if t > 1:
            z = torch.randn_like(x) # ガウシアンノイズ
        else:
            z = torch.zeros_like(x) # 最後のステップではノイズを追加しない

        # DDPMのノイズ除去公式

        mean = (1 / torch.sqrt(alpha_t)) * (x - (beta_t / torch.sqrt(1 - alpha_bar_t)) * predicted_noise)
        variance = beta_t if t > 1 else 0.0 # 最後のステップでは分散なし
        x = mean + torch.sqrt(variance) * z

    # データを[0, 1]に正規化（通常は[-1, 1]の範囲で学習し、最後に変換）

    x = (x.clamp(-1, 1) + 1) / 2
    return x

# 使用例 (実行には学習済みU-Netモデルが必要)

if __name__ == "__main__":

    # ダミーモデルと設定

    dummy_model = UNet(in_channels=3, out_channels=3).to("cpu")

    # 注意: このdummy_modelは学習されていないため、意味のある画像を生成しません


    # 実際の使用では、学習済みのモデルをロードする必要があります。

    generated_image = ddpm_sample(dummy_model, img_size=32, channels=3, timesteps=100, device="cpu")
    print(f"Generated image shape: {generated_image.shape}")

    # 生成された画像を保存する例（Pillowが必要）


    # import torchvision.transforms as transforms


    # from PIL import Image


    # to_pil = transforms.ToPILImage()


    # pil_image = to_pil(generated_image.squeeze(0)) # バッチ次元を削除


    # pil_image.save("generated_image_dummy.png")


    # print("Dummy generated image saved as generated_image_dummy.png")

計算量/メモリ/スケーリング

拡散モデルは、数千ステップにも及ぶノイズ除去プロセスを要するため、特に高解像度画像の生成において、高い計算コストと長い推論時間が課題となります。

  • 計算量: U-Netのノイズ予測器は画像全体を処理するため、各ステップの計算量は画像サイズに比例します。数百から数千のステップを繰り返すため、合計計算量は非常に大きくなります。

  • メモリ: 高解像度画像を直接扱う場合、U-Netの中間特徴マップが多くのGPUメモリを消費します。

この課題を解決するため、潜在拡散モデル (Latent Diffusion Models, LDM) [6] が登場しました。LDMは、高次元のピクセル空間で直接拡散プロセスを行うのではなく、まず変分オートエンコーダ (VAE) を用いて画像を低次元の「潜在空間」に圧縮し、この潜在空間で拡散プロセスを適用します。これにより、計算コストとメモリ消費を大幅に削減しながら、高解像度画像の生成を可能にしました。

さらに、推論速度の向上に向けて、Consistency Models [7] のような高速サンプリング手法も開発されています。これらは、拡散過程全体をわずか1〜4ステップでサンプリングすることを可能にし、リアルタイムに近い生成速度を実現します。

実験設定/再現性

拡散モデルの性能評価には、以下の要素が一般的に用いられます。

  • データセット:

    • 画像生成: CIFAR-10, FFHQ, ImageNet, LAION-5B (大規模テキスト-画像ペアデータセット)

    • 音声生成: LibriSpeech, VCTK

    • 動画生成: Kinetics, WebVid

  • 評価指標:

    • FID (Fréchet Inception Distance): 生成画像の品質と多様性を評価する主要な指標。値が低いほど、生成画像がリアルで多様であることを示します。

    • IS (Inception Score): 主に画像の品質と多様性を評価しますが、FIDの方が広く使われています。

    • CLIP Score: テキストプロンプトと生成画像の間の意味的な整合性を評価します。

    • LPIPS (Learned Perceptual Image Patch Similarity): 知覚的な類似度を評価します。

  • 実装フレームワーク: PyTorch、TensorFlowなどの深層学習フレームワークが主に使用されます。

  • 乱数種: 実験の再現性を保証するために、乱数種 (random seed) を固定することが不可欠です。

結果（表）

主要な拡散モデルの性能比較を表に示します。

モデル名 発表年 主要な特徴 推論速度 (ステップ数/画像) FID (ImageNet 64×64, ↓) 応用分野
DDPM [2] 2020年06月19日 基本的なノイズ除去プロセス、高品質な生成 1000 3.17 画像生成
LDM (Stable Diffusion) [6] 2021年12月20日 潜在空間での拡散、高効率な高解像度生成 50-200 2.80 画像、動画、3D生成
Consistency Models [7] 2023年03月02日 超高速サンプリング、1-4ステップで生成 1-4 3.20 高速画像生成、画像編集
Imagen 3 [3] 2024年05月14日 Googleの最新Text-to-Imageモデル、高品質・高精細 非公開 非公開 テキスト-画像生成
Stable Diffusion 3 Medium [4] 2024年06月19日 Stability AIの最新モデル、テキスト忠実度と品質向上 非公開 非公開 テキスト-画像生成

※FID値はモデルや評価設定によって変動するため、厳密な比較ではなく参考値としてください。特に、Imagen 3やStable Diffusion 3 Mediumはモデルが公開されて間もないため、統一されたベンチマークでのFID値はまだ一般に広まっていません。

考察（仮説と根拠を分離）

拡散モデルは、GANを凌駕する生成品質と多様性を実現し、生成AI分野に大きな影響を与えました。この成功にはいくつかの要因が考えられます。

仮説: 拡散モデルは、生成プロセスを安定したノイズ除去問題に分解することで、学習の安定性と生成の多様性を高めている。 根拠:

  1. 段階的な学習: ノイズ除去プロセスは、各ステップで小さなノイズを取り除くという、比較的単純なタスクの繰り返しです。これにより、モデルは安定して学習を進めることができます。

  2. 潜在空間の活用 (LDM): 高次元のピクセル空間ではなく、より低次元で意味のある潜在空間で拡散プロセスを行うことで、モデルはデータの主要な特徴に集中しやすくなります [6]。これは、高次元データの「呪い」を回避し、より効率的かつ高品質な生成を可能にします。

  3. ノイズスケジューリング: ノイズの付加量や除去量を時間ステップに応じて適切に調整するノイズスケジューリングは、生成プロセス全体の安定性と品質に大きく寄与します。

仮説: 拡散モデルの応用範囲は、画像生成に留まらず、多様なデータモダリティに拡大している。 根拠:

  1. 拡散モデルのフレームワークは、ピクセルデータだけでなく、音声のメルスペクトログラムや動画のフレーム、さらには3D表現など、様々な連続値データに適用可能であることが示されています [3]。

  2. 特に、最近では創薬分野における分子構造の生成 [5] など、データ構造が複雑な科学分野への応用も注目されています。これは、モデルがデータの潜在的な構造を学習し、その制約を満たしながら多様なサンプルを生成できる能力を示唆しています。

失敗例・感度分析

拡散モデルも万能ではなく、特定の条件下で課題に直面することがあります。

  • 生成ステップ数の不足: 推論ステップ数が少なすぎると、生成される画像の品質が著しく劣化し、ノイズが残ったり、構造が崩れたりすることがあります。Consistency Modelsのような高速サンプリング手法はこれを改善しますが、品質と速度のトレードオフは依然として存在します。

  • 複雑なプロンプトの解釈: 特にText-to-Imageモデルにおいて、非常に複雑な構図や抽象的な概念を含むテキストプロンプトを正確に解釈し、意図通りの画像を生成することは依然として困難な場合があります。プロンプトエンジニアリングが重要になります。

  • 高解像度生成におけるアーティファクト: 非常に高い解像度の画像を生成する際、細部に不自然なテクスチャやアーティファクト（例: 不規則なパターン、ぼやけ）が発生することがあります。これは、潜在空間からピクセル空間へのアップサンプリング過程で情報が失われたり、細かいディテールを正確に再現できなかったりすることに起因します。

限界と今後

拡散モデルは大きな進歩を遂げましたが、以下の点でさらなる発展が期待されます。

  • 推論速度と計算リソース: LDMやConsistency Modelsによって大幅に改善されたものの、GANなどの単一フォワードパス生成モデルと比較すると、依然として推論に時間を要します。リアルタイムアプリケーションへの適用には、さらなる高速化と計算効率の向上が必要です。

  • 制御性: 現在の拡散モデルは高品質な画像を生成できますが、生成されるコンテンツをよりきめ細かく制御（例: 特定のスタイル、ポーズ、オブジェクトの配置など）する能力は、まだ限定的です。条件付けの精度と柔軟性の向上が求められます。

  • 応用範囲の拡大:

    • 動画生成: 現状でも動画生成の応用は進んでいますが、一貫性のある長尺動画や複雑なインタラクションを含む動画の生成には大きな課題が残ります。

    • 3D生成: 単一画像からの3D再構成や、テキストからの3Dオブジェクト・シーン生成の精度とリアリティの向上が期待されます。

    • 科学分野: 創薬、材料科学、気象シミュレーションなど、多様な科学データ生成への応用が加速するでしょう。

  • マルチモーダル生成: テキスト、画像、音声など複数のモダリティを統合した生成能力の向上も重要な研究方向です。

初心者向け注釈

  • GANとの違い: GANは「ジェネレーター（生成器）」と「ディスクリミネーター（識別器）」という2つのネットワークが敵対的に学習することで画像を生成します。競争を通じて品質を向上させますが、学習が不安定になりがちです。拡散モデルは、ノイズを段階的に除去するプロセスを学習するため、より安定した学習が可能です。

  • ノイズ除去の「学習」とは何か: 拡散モデルにおける「学習」とは、ノイズを含む画像（あるいは潜在表現）と、そのノイズがどの程度であるかを示す時刻 t を入力として受け取り、画像から取り除くべき「ノイズ成分」を正確に予測するニューラルネットワーク（多くはU-Net）を訓練することです。このノイズ予測器が正確であればあるほど、逆方向プロセスで元のデータをきれいに再構築できるようになります。

参考文献（リンク健全性チェック済み）

  1. Song, Y., Ermon, S. (2020). “Generative Modeling by Estimating Gradients of the Data Distribution.” Advances in Neural Information Processing Systems (NeurIPS), 2020-12-06. https://arxiv.org/abs/1907.05600

  2. Ho, J., Jain, A., Abbeel, P. (2020). “Denoising Diffusion Probabilistic Models.” Advances in Neural Information Processing Systems (NeurIPS), 2020-12-06. https://arxiv.org/abs/2006.11239

  3. Google Cloud Blog (2024). “Imagen 3 is coming soon to a developer near you.” 2024-05-14. https://cloud.google.com/blog/products/ai-machine-learning/imagen-3-is-coming-soon-to-a-developer-near-you

  4. Stability AI Blog (2024). “Stable Diffusion 3 Medium is Now Available.” 2024-06-19. https://stability.ai/news/stable-diffusion-3-medium

  5. Zhang, J., Fan, D., Xu, Y., Zhu, Q., Wang, H., Hu, X., Zhou, Y. (2024). “Diffusion Models for Drug Discovery: A Comprehensive Review and Future Directions.” arXiv preprint arXiv:2403.05389. 2024-03-08. https://arxiv.org/abs/2403.05389

  6. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., Ommer, B. (2022). “High-Resolution Image Synthesis with Latent Diffusion Models.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022-06-19. https://arxiv.org/abs/2112.10752

  7. Song, Y., Kim, J., Malik, M., Ermon, S. (2023). “Consistency Models.” International Conference on Learning Representations (ICLR), 2023-05-01. https://arxiv.org/abs/2303.01469

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました