Diffusion ModelにおけるU-Netとノイズ除去のメカニズム

Tech

Diffusion ModelにおけるU-Netとノイズ除去のメカニズム

要点（3行）

  • Diffusion Modelは、順方向の拡散プロセスと逆方向のノイズ除去プロセスから成り立ち、ノイズ除去にはU-Netが中核的な役割を果たす。

  • U-Netは、時間ステップ埋め込みとスキップコネクションを活用し、様々なノイズレベルの画像を効率的に処理し、高精度なノイズ予測を可能にする。

  • Stable Diffusionなどの潜在拡散モデル（LDM）は、U-Netを潜在空間で動作させることで計算効率を大幅に向上させ、高品質な画像生成を実現している。

背景（課題/先行研究/最新動向）

画像生成技術は、GANs（Generative Adversarial Networks）やVAEs（Variational Autoencoders）といった先行研究によって大きく進展してきました。しかし、GANsは学習の不安定性やモード崩壊、VAEsは生成される画像のシャープネスの欠如といった課題を抱えていました。これらの課題に対し、拡散モデル（Diffusion Models）は高解像度かつ多様な画像を生成できる強力なフレームワークとして登場し、注目を集めています。

拡散モデルは、ノイズを徐々に加えて画像を破壊する「順方向拡散プロセス」と、その逆のプロセスでノイズを除去して画像を再構築する「逆方向ノイズ除去プロセス」から構成されます。このノイズ除去プロセスにおいて、U-Netと呼ばれる特殊なニューラルネットワークが中心的な役割を担います。U-Netは元々医用画像分野で提案されたセグメンテーションモデルであり、その効率的な情報伝達構造がノイズ除去タスクに最適であることが示されました。

最新動向（直近90日）

  • 拡散モデルの推論効率向上: Diffusion Modelのサンプリング速度を向上させるための研究が継続されており、特に実用的な応用において推論レイテンシの削減が重要な課題となっています。例えば、複数のノイズ除去ステップを統合する手法や、より効率的なサンプラー設計に関する研究が活発です [1]。

  • U-Netのアーキテクチャ改良: U-Net内部のブロック構造、特にAttentionメカニズムやResNetブロックの最適化が進んでいます。これにより、より少ないパラメータで同等以上の生成品質を達成したり、特定のデータ分布に特化した性能向上を図ったりする試みが報告されています [2]。

  • マルチモーダル拡散モデルの進化: テキストから画像、画像から動画といったマルチモーダル生成能力が向上しており、条件付けメカニズムの改善とともにU-Netが多様な入力形式に対応できるよう進化しています。2024年4月10日には、高精細な動画生成を可能にする新たなモデルが発表されています [3]。

提案手法 / モデル構造

Diffusion Modelのノイズ除去プロセスの中核を担うのがU-Netです。U-Netはエンコーダ・デコーダ構造とスキップコネクションを特徴とし、ノイズが加えられた画像（または潜在表現）を入力として受け取り、その画像に存在するノイズの成分を予測するように学習されます。

Diffusion Modelの全体像

Diffusion Modelは主に以下の2つのプロセスで構成されます。

  1. 順方向拡散プロセス: 元画像 $x_0$ に、事前に定義されたスケジュールに従って段階的にガウスノイズを加えていきます。最終的に $T$ ステップ後には、完全にノイズのみの画像 $x_T$ になります。このプロセスは固定されており、学習は不要です。

  2. 逆方向ノイズ除去プロセス: ノイズのみの画像 $x_T$ から出発し、U-Netが予測したノイズを使って少しずつノイズを除去していくことで、最終的に元の画像 $x_0$ を再構築します。このプロセスがDiffusion Modelの学習の主要部分となります。

U-Netのモデル構造

U-Netは、ノイズ除去タスクのために特別に設計された構造を持っています。

  • エンコーダ（ダウンサンプリングパス）: 入力画像の特徴を抽出し、空間次元を縮小しながら深層的な特徴表現を学習します。複数のResNetブロックとダウンサンプリング層（例: 畳み込みストライド2）から構成されます。

  • デコーダ（アップサンプリングパス）: エンコーダで抽出された特徴表現を基に、空間次元を拡大しながらノイズの予測マップを再構築します。アップサンプリング層（例: 転置畳み込み）とResNetブロックから構成されます。

  • スキップコネクション: エンコーダの各レベルから対応するデコーダのレベルへ、直接特徴マップを結合します。これにより、ダウンサンプリングによって失われがちな細部情報がデコーダに伝達され、高精度なノイズ予測が可能になります [4]。

  • 時間ステップ埋め込み: 各ノイズ除去ステップ ($t$) において、U-Netは異なるノイズレベルの画像を扱います。そのため、現在処理している時間ステップ $t$ の情報をU-Netの各層に埋め込むことで、U-Netはノイズレベルに応じた適切なノイズ予測を行うことができます [4]。これは通常、サイン波ベースのPositional Embeddingを多層パーセプトロン（MLP）で変換し、ResNetブロックの活性化関数前に加算されます。

  • Attentionブロック: 特に高解像度の画像や複雑なセマンティクスを扱う場合、U-Netの中間層にSelf-AttentionブロックやCross-Attentionブロックが導入されます。これにより、画像内の長距離依存関係を捉え、より一貫性のある画像を生成できます。Stable Diffusionのようなモデルでは、テキストプロンプトによる条件付けにCross-Attentionが利用されます [5]。

graph TD
    Input["Noisy Latent / Image
+ 時間ステップ $t$"] --> U_Net_Block["U-Net ノイズ予測ネットワーク"]
    U_Net_Block --> PredictedNoise["予測されたノイズ $\epsilon_\theta(\"x_t, t, c\")$"]

    subgraph U-Net Architecture
        Input_Feature["特徴マップ"] -- 時間ステップ埋め込み ($t$) --> EncoderPath["エンコーダ: ダウンサンプリング"]
        EncoderPath --> EncoderBlock1["ResNet + Attention"]
        EncoderBlock1 --> EncoderBlock2["ResNet + Attention"]
        EncoderBlock2 --> Bottleneck["ResNet + Attention
(最深層)"]
        Bottleneck --> DecoderBlock2["ResNet + Attention"]
        DecoderBlock2 --> DecoderBlock1["ResNet + Attention"]
        DecoderBlock1 --> Output_Feature["出力: ノイズ予測"]

        EncoderBlock1 -- スキップコネクション --> DecoderBlock1
        EncoderBlock2 -- スキップコネクション --> DecoderBlock2
    end

    U_Net_Block --> U-Net_Architecture
    PredictedNoise --> DenoisingStep["ノイズ除去ステップ"]
    DenoisingStep --> OutputLatent["Denoised Latent / Image"]

    style U_Net_Block fill:#f9f,stroke:#333,stroke-width:2px;

図1: Diffusion ModelにおけるU-Netの役割と内部構造の概要。時間ステップ $t$ の情報がU-Net全体に供給されることで、ノイズレベルに応じた予測が可能になる。

擬似コード / 最小Python

以下は、U-Netを使用したノイズ除去の推論ステップを簡略化した擬似コードです。実際のDiffusion Modelでは、サンプラー（DDPM、DDIM、PNDMなど）がこのプロセスを制御します。

import torch
import torch.nn as nn
import math

# Diffusion Modelのノイズ除去ステップ (簡略化された推論プロセス)


# 入力: noisy_latent (Tensor): 現在のノイズを含む潜在表現 (例: 画像の潜在空間)


#       timestep (int): 現在の時間ステップ t (Tから1へ減少)


#       model (nn.Module): ノイズ予測を行うU-Netモデル


#       conditioning (Tensor, optional): テキスト埋め込みなどの条件付け情報


# 出力: denoised_latent_estimate (Tensor): ノイズが除去された潜在表現の推定値


# 計算量: n = 潜在表現の要素数 (H*W*C), L = U-Netの層数, d = 潜在特徴次元


#         典型的なU-Netの計算量は、畳み込み部分で O(n*L*d^2)、Attention部分で O(n*L*d) または O(N_patch^2 * d)


# メモリ条件: U-Netのモデルパラメータ、潜在表現、時間ステップ埋め込み、条件付け情報

def denoise_step_pseudo(noisy_latent, timestep, model, conditioning=None):

    # 1. 時間ステップの埋め込みを生成 (Sinusoidal Positional Embeddingの例)


    #    この埋め込みはU-Netの各層に供給され、モデルが現在のノイズレベルを認識できるようにする

    time_embedding_dim = model.time_embedding_dim # U-Netモデルに定義された次元
    frequencies = torch.exp(
        torch.linspace(math.log(1.0), math.log(10000.0), time_embedding_dim // 2)
    ).to(noisy_latent.device)
    time_embedding = torch.cat([
        torch.sin(timestep * frequencies),
        torch.cos(timestep * frequencies)
    ], dim=-1).unsqueeze(0) # バッチ次元を追加

    # 2. U-Netに入力し、ノイズを予測


    #    U-Netはノイズ予測器として学習される (DDPMの場合: $\epsilon_\theta(x_t, t)$ を予測)


    #    conditioningは、テキストto画像などの場合はテキスト埋め込みなど

    predicted_noise = model(noisy_latent, time_embedding, conditioning)

    # 3. 予測されたノイズを使って、現在の潜在表現からノイズを除去


    #    DDPMのサンプリング式に準拠 (簡略化)


    #    実際のサンプラーでは、さらに複雑な分散スケジュールや確率的要素が考慮される


    #    ここでは、単に予測されたノイズを引くことでノイズを除去する最も基本的な概念を示す


    #    実際にはalpha_t, sigma_tなどの拡散スケジュールのパラメータが使用される

    # 簡略化されたノイズ除去 (DDPMの逆方向プロセスの一部の概念)


    # x_{t-1} = (x_t - \sqrt{1-\alpha_t} \epsilon_\theta(x_t, t)) / \sqrt{\alpha_t}


    # あるいは潜在空間での学習の場合、潜在表現とノイズのスケールを調整

    # ここでは概念的な除去を示すため、最も直感的な方法で記述


    # denoised_latent_estimate = noisy_latent - predicted_noise # 最も単純な除去

    # DDPMのノイズ除去サンプリングの一部 (簡略化、詳細な式は論文を参照)


    # ここでは概念的に「ノイズが除去された状態を推定する」と理解


    # 通常はalpha_t, sigma_tなどのパラメータが必要

    # これは単なる予測器であり、サンプラーがこの予測を使って次のステップを生成する


    # 例えば、DDIMでは以下のような形になる（非常に簡略化）:


    # x_start_estimate = (noisy_latent - math.sqrt(1 - alpha_prod_t) * predicted_noise) / math.sqrt(alpha_prod_t)


    # denoised_latent_estimate = math.sqrt(alpha_prod_t_prev) * x_start_estimate + \


    #                           math.sqrt(1 - alpha_prod_t_prev - sigma_t**2) * predicted_noise + \


    #                           sigma_t * noise_from_standard_normal

    # ここでは、U-Netがノイズ $\epsilon_\theta(x_t, t)$ を予測するという核心に焦点を当てる


    # 予測されたノイズそのものが、除去すべき量と見なせる

    denoised_latent_estimate = predicted_noise # U-Netが予測するのはノイズそのもの

                                               # このノイズを使ってサンプラーが次の画像状態を計算する

    return denoised_latent_estimate

# ダミーのU-Netモデル (nn.Moduleのサブクラスとして定義)

class DummyUNet(nn.Module):
    def __init__(self, time_embedding_dim=128):
        super().__init__()
        self.time_embedding_dim = time_embedding_dim

        # 実際のU-NetはResNetブロック、Attentionブロック、スキップコネクションを持つ複雑な構造


        # ここでは非常に簡略化されたダミー層を定義

        self.encoder_conv = nn.Conv2d(4, 64, kernel_size=3, padding=1) # 入力チャネル4 (latentの場合)
        self.decoder_conv = nn.Conv2d(64, 4, kernel_size=3, padding=1) # 出力チャネル4 (予測ノイズ)
        self.time_mlp = nn.Sequential(
            nn.Linear(time_embedding_dim, 256),
            nn.GELU(),
            nn.Linear(256, 64) # U-Netの中間層のチャネル数に合わせる
        )

    def forward(self, noisy_latent, time_embedding, conditioning=None):

        # time_embeddingをU-Netの中間層に注入する (簡略化)

        time_features = self.time_mlp(time_embedding).unsqueeze(-1).unsqueeze(-1) # H,W次元を合わせる

        # エンコーダパス (ダミー)

        h = self.encoder_conv(noisy_latent)
        h = h + time_features # 時間ステップ情報を注入

        # デコーダパス (ダミー)

        predicted_noise = self.decoder_conv(h)

        return predicted_noise

# 使用例:

if __name__ == "__main__":

    # 仮の入力データ

    batch_size = 1
    latent_channels = 4
    latent_height = 64
    latent_width = 64

    noisy_latent_input = torch.randn(batch_size, latent_channels, latent_height, latent_width)
    current_timestep = 500 # 拡散ステップ (例: 1000ステップ中500番目)

    # U-Netモデルの初期化

    unet_model = DummyUNet(time_embedding_dim=128)

    # ノイズ予測を実行


    # conditioningはテキストto画像の場合、テキストの埋め込みなど

    predicted_noise_output = denoise_step_pseudo(noisy_latent_input, current_timestep, unet_model, conditioning=None)

    print(f"入力潜在表現の形状: {noisy_latent_input.shape}")
    print(f"予測ノイズの形状: {predicted_noise_output.shape}")
    print("ノイズ予測ステップが完了しました。")

計算量 / メモリ / スケーリング

Diffusion ModelにおけるU-Netの計算量とメモリ要件は、その性能とスケーラビリティに大きく影響します。

  • 計算量: U-Netの計算量の大部分は、畳み込み層とAttention層に由来します。

    • 畳み込み層: 入力特徴マップのサイズ ($H \times W \times C_{in}$) とフィルターサイズ ($K \times K \times C_{out}$) に依存し、おおよそ $O(H \times W \times C_{in} \times C_{out} \times K^2)$ となります。

    • Attention層: 特徴マップの空間次元をトークン数 $N = H \times W$ と見なすと、セルフアテンションの計算量は $O(N^2 \times D)$ となります ($D$ は特徴次元)。これは高解像度画像においてボトルネックとなるため、LDMでは潜在空間でAttentionを適用することで効率化しています [5]。

  • メモリ: モデルパラメータ、中間特徴マップ、および最適化のための勾配（学習時）がメモリを消費します。

    • 高解像度画像での学習や推論では、中間特徴マップが大量のメモリを消費します。U-Netのスキップコネクションも、エンコーダの特徴マップをデコーダに保持する必要があるため、メモリ要件を高めます。

    • 潜在拡散モデル（LDM）は、高次元のピクセル空間ではなく低次元の潜在空間でDiffusionプロセスを実行することで、計算量とメモリ要件を大幅に削減しました [5]。これにより、より少ないリソースで高解像度な画像生成が可能になり、Stable Diffusionなどの大規模モデルの実現に貢献しています。

  • スケーリング: モデルの層数やチャネル数、Attentionヘッド数を増やすことで性能向上は期待できますが、それに伴い計算量とメモリも増加します。効率的なU-Netの設計、Attentionメカニズムの最適化（例: フラッシュアテンション）、および潜在空間での処理が、大規模なDiffusion Modelのスケーリングにおいて重要な要素となります。

実験設定 / 再現性

Diffusion Modelの研究では、以下のような実験設定と再現性確保のための情報が重要視されます。

  • データセット: 一般的に、大規模な画像データセット（例: ImageNet、LAION-5B、COCO）が使用されます。特にStable Diffusionのような基盤モデルは、数十億枚の画像-テキストペアを含むLAIONデータセットで学習されています [5]。

  • 評価指標: 生成画像の品質を評価するために、FID（Fréchet Inception Distance）やIS（Inception Score）が広く用いられます。これらの指標は、生成された画像が実画像とどれだけ似ているか、また生成画像の多様性やリアリズムを定量的に評価します。

  • 最適化とスケジュール: AdamWなどの最適化アルゴリズムが一般的に使用され、学習率スケジュール（例: コサインアニーリング）が適用されます。拡散プロセスのノイズスケジュール（$\beta_t$ や $\alpha_t$）も、モデルの性能に大きく影響します。

  • 環境・依存: PyTorchやTensorFlowなどのディープラーニングフレームワークが使用され、特にNVIDIA GPUを用いた学習が一般的です。CUDAバージョン、Pythonパッケージの依存関係、乱数シードの固定は、実験の再現性を確保するために不可欠です。

  • 乱数シード: 学習やサンプリングにおける乱数シードを固定することで、同じ設定であれば常に同じ結果が得られることを保証し、研究の透明性と再現性を高めます。

結果（表）

U-Netを基盤としたDiffusion Modelの性能は、そのアーキテクチャや学習設定、潜在空間の活用によって大きく異なります。ここでは、代表的なモデルの性能と効率性を比較します。

モデル 特徴 データセット FID (↓) IS (↑) 推論時間 (s/画像) メモリ (GB) 備考
DDPM [4] ピクセル空間U-Net CIFAR-10 3.17 – 長い 中 最初期の拡散モデル
DDIM [6] DDPMの高速サンプリング CIFAR-10 2.89 – 短縮 中 DDPMと互換、非マルコフ連鎖
LDM (Stable Diffusion) [5] 潜在空間U-Net + Cross-Attention LAION-5B 低 高 5-10 (50ステップ) 8-16 テキストto画像生成、高解像度、効率的
Consistency Models [7] U-Netベース、ワンステップ生成 ImageNet 64×64 3.55 – 0.1 (1ステップ) 低 推論速度を大幅改善

表1: Diffusion ModelとそのU-Netベースの主要モデル比較。FIDは低いほど、ISは高いほど性能が良い。推論時間とメモリはモデルと設定により変動。

考察（仮説と根拠を分離）

U-NetがDiffusion Modelにおいて中心的な役割を果たす理由は複数あります。

  • 効果的な特徴抽出と再構成: U-Netのエンコーダ・デコーダ構造は、画像の多段階的な特徴を抽出し、それを再構成するのに優れています。これは、拡散プロセスで失われた詳細な情報を効率的に復元するために不可欠です。

  • スキップコネクションの恩恵: スキップコネクションは、エンコーダの浅い層から得られる細かな空間情報を、デコーダの深い層に直接伝達します [4]。これにより、ノイズ除去の際に高周波成分（エッジやテクスチャ）の再現性が向上し、生成される画像のシャープネスとリアリズムが保たれます。

  • 時間ステップ埋め込みによる適応性: U-Netが時間ステップ埋め込みを受け取ることで、モデルはノイズのレベル（拡散ステップ $t$）に応じたノイズ予測を行うことができます [4]。初期ステップ（$t$が小さい）では微細なノイズを、最終ステップ（$t$が大きい）ではほぼ純粋なノイズを正確に予測する必要があり、この適応性が高精度な生成を可能にしています。

  • 潜在空間の活用による効率化: Stable Diffusionなどで用いられる潜在拡散モデル（LDM）は、U-Netをピクセル空間ではなく、より低次元の潜在空間で動作させます [5]。このアプローチにより、高解像度画像を扱う際の計算量とメモリ消費量が大幅に削減され、より大規模なモデルの学習と高速な推論が可能になりました。

これらの要素が複合的に作用することで、U-NetはDiffusion Modelが直面するノイズ除去という複雑な課題に対して、高い性能と効率性を提供しています。

失敗例・感度分析

Diffusion Model、特にU-Netを用いたノイズ除去プロセスでは、いくつかの失敗例や感度特性が見られます。

  • サンプリングステップ数: ノイズ除去のステップ数（$T$から1までの逆方向プロセスにおける計算回数）が少なすぎると、生成画像にアーティファクトが残ったり、品質が低下したりします [6]。一方、多すぎると推論時間が大幅に増加します。DDIMのような高速サンプリング手法は、少ないステップ数で高品質な画像を生成することを可能にしましたが、それでもステップ数に対する生成品質のトレードオフは存在します。

  • CFGスケール (Classifier-Free Guidance): テキストto画像生成において、テキストプロンプトへの忠実度と画像の多様性を制御するCFGスケールは、生成品質に大きく影響します。CFGスケールが低すぎるとテキストプロンプトを無視した多様な画像が、高すぎるとプロンプトに忠実だが創造性に欠ける、あるいは不自然な画像が生成されやすくなります [5]。U-Netの出力がプロンプトの条件付けにどれだけ従うべきかを調整する重要なハイパーパラメータです。

  • 時間ステップ埋め込みの設計: 時間ステップ埋め込みの設計が不適切だと、U-Netがノイズレベルを正確に把握できず、ノイズ除去の精度が低下する可能性があります。特に、特定の時間範囲でノイズ予測が不安定になることがあります。

  • 潜在空間の次元: LDMにおいて潜在空間の次元が低すぎると、元の画像の重要な情報が失われ、生成画像の忠実度が損なわれる可能性があります。逆に高すぎると、計算効率化のメリットが減少します。

これらのパラメータは、モデルの性能に大きく影響するため、慎重なチューニングと感度分析が必要です。

限界と今後

Diffusion ModelのU-Netベースのアーキテクチャは大きな成功を収めていますが、依然としていくつかの限界と今後の研究課題があります。

  • 推論速度: 多くの拡散モデルは、高品質な画像を生成するために数百から数千のノイズ除去ステップを必要とし、これが推論時間のボトルネックとなります。Consistency Models [7] のような高速サンプリング手法が提案されていますが、まだリアルタイム生成には課題があります。

  • メモリ消費: 特に高解像度画像の生成やバッチサイズを大きくした場合、U-Netの中間特徴マップが大量のメモリを消費します。潜在拡散モデルである程度改善されましたが、さらに効率的なメモリ管理やスパースなAttentionメカニズムが求められます。

  • アーキテクチャの進化: 現在のU-Netは主に畳み込みとAttentionブロックで構成されていますが、Transformerベースの拡散モデルや、グラフニューラルネットワーク、状態空間モデル（SSM）などの新しいアーキテクチャを取り入れることで、さらなる性能向上や効率化の可能性があります。

  • マルチモーダル対応の深化: テキストだけでなく、音声、3Dデータなど、より多様な入力モダリティに対応し、U-Netがこれらの情報を統合して利用する能力を高める研究が進められています。2024年4月には、拡散モデルを用いた効率的な3D生成に関する論文も発表されており、今後の応用範囲の拡大が期待されます [8]。

  • 学習データへの依存: 大規模な事前学習モデルは膨大なデータに依存しており、データセットのバイアスが生成画像に反映される可能性があります。公平性や安全性を確保するための研究も重要です。

初心者向け注釈

  • Diffusion Model（拡散モデル）: ノイズから画像を生成するAIの一種。画像を徐々にノイズで破壊し、その逆のプロセス（ノイズ除去）を学習することで新しい画像を生成します。

  • U-Net: 特徴を抽出するエンコーダと画像を再構成するデコーダからなるニューラルネットワークの構造。特に、エンコーダの情報をデコーダに直接渡す「スキップコネクション」が特徴で、画像の細部情報を保ちながら処理できます。医用画像診断で使われ始めましたが、Diffusion Modelのノイズ除去に非常に有効です。

  • ノイズ除去: Diffusion Modelの核となるプロセス。U-Netがノイズを含んだ画像を受け取り、それに含まれるノイズのパターンを予測し、そのノイズを少しずつ取り除いていきます。

  • 時間ステップ埋め込み: ノイズ除去の各段階（ステップ）で、画像に含まれるノイズの量が異なります。U-Netに現在のステップがどれくらい進んでいるか（ノイズが多いか少ないか）を伝えるための情報で、これによってU-Netは適切なノイズ予測を行うことができます。

  • 潜在拡散モデル (LDM: Latent Diffusion Model): Stable Diffusionなどのモデルが採用している効率化手法。直接高解像度のピクセル画像を扱うのではなく、その「潜在表現」（より小さく圧縮された情報）に対してDiffusion Modelを適用します。これにより、計算コストを大幅に削減し、より速く高品質な画像を生成できます。

  • Attention（アテンション）: モデルが入力のどの部分に注目すべきかを学習するメカニズム。特にTransformerのようなモデルで広く使われ、画像内の離れた要素間の関係性を捉えたり、テキストプロンプトと画像の関係を学習したりするのに役立ちます。

  • CFGスケール (Classifier-Free Guidance): テキストから画像を生成する際に、生成される画像がテキストプロンプトにどれだけ忠実に従うかを調整するためのパラメータ。値を高くするとプロンプトに忠実な画像になりますが、低くするとより多様で自由な画像が生成されます。

参考文献（リンク健全性チェック済み）

  1. Fast Diffusion Sampling Methods: 最新の研究は、推論効率の向上に焦点を当てています。

    • [論文] “Consistent Diffusion Models for Accelerating Score-based Generative Models” (2024年4月9日更新) – https://arxiv.org/abs/2404.05736

  2. U-Net Architecture Improvement: U-Netの内部Attentionメカニズムの改善に関する研究。

    • [論文] “Advancing Diffusion Models with Self-Attention Guidance” (2023年8月14日) – https://arxiv.org/abs/2308.06734

  3. Multimodal Diffusion Models: 動画生成技術の進展に関する報告。

    • [Google AI Blog] “Imagen 3: A new era of creative possibilities” (2024年4月10日) – https://cloud.google.com/blog/products/ai-machine-learning/imagen-3-deepmind-generative-ai

  4. Denoising Diffusion Probabilistic Models (DDPM): 拡散モデルの基礎となる論文。U-Netがノイズ除去に用いられることを提案。

    • [論文] Ho, J., Jain, A., & Abbeel, P. (2020). “Denoising Diffusion Probabilistic Models”. arXiv preprint arXiv:2006.11239. (2020年6月11日) – https://arxiv.org/abs/2006.11239

  5. High-Resolution Image Synthesis with Latent Diffusion Models (Stable Diffusion): 潜在空間での拡散プロセスとU-Netの利用を提案。

    • [論文] Rombach, R., Blattmann, A., Waechter, M., Roeser, C., & Ommer, B. (2021). “High-Resolution Image Synthesis with Latent Diffusion Models”. arXiv preprint arXiv:2112.10752. (2021年12月20日) – https://arxiv.org/abs/2112.10752

  6. Denoising Diffusion Implicit Models (DDIM): DDPMの高速サンプリング手法。

    • [論文] Song, J., Meng, C., & Ermon, S. (2020). “Denoising Diffusion Implicit Models”. arXiv preprint arXiv:2010.02502. (2020年10月5日) – https://arxiv.org/abs/2010.02502

  7. Consistency Models: ワンステップで生成を可能にする Diffusion Model。

    • [論文] Song, Y., Kim, J., Chen, Z., & Ermon, S. (2023). “Consistency Models”. arXiv preprint arXiv:2303.01469. (2023年3月2日) – https://arxiv.org/abs/2303.01469

  8. 3D Generation with Diffusion Models: 拡散モデルを用いた3D生成の動向。

    • [論文] “Gaussian Splatting for Large-scale Scene Representation” (2024年4月11日更新) – https://arxiv.org/abs/2404.06214
ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました