Stable DiffusionにおけるLoRA（Low-Rank Adaptation）技術解説

Tech

Stable DiffusionにおけるLoRA（Low-Rank Adaptation）技術解説

要点（3行）

  • LoRA（Low-Rank Adaptation）は、Stable Diffusionなどの大規模モデルのファインチューニングを低コストで実現する手法です。

  • 数百万～数十億パラメータを持つ基盤モデルに対し、追加学習パラメータを数MB程度に抑え、VRAM消費と学習時間を大幅に削減します。

  • 特定のスタイルや概念を効率的に学習させ、高品質な画像を生成。計算資源の限られた環境でも応用可能です。

背景（課題/先行研究/最新動向）

大規模な事前学習済みモデル、特にStable Diffusionのような画像生成モデルは強力な表現力を持つ一方で、特定のタスクやスタイルに適応させるためのファインチューニングには、莫大な計算資源と時間が必要という課題がありました。

従来のファインチューニング手法（例: DreamBooth）[1]では、モデル全体の重みを更新するため、数十GBのVRAMと長時間の学習を要し、生成されるモデルファイルもGB単位に膨らむことが課題でした。このようなリソース要件は、研究者や個人クリエイターにとって大きな障壁となっていました。

Parameter-Efficient Fine-Tuning (PEFT) と総称される先行研究群は、大規模モデルのごく一部のパラメータのみを学習することでこの課題を解決しようと試みてきました[2]。LoRAはその中でも特に効果的で広く採用されている手法の一つです。

最新動向（直近90日）を箇条書きで列挙し、各項目に[出典番号]とJST具体日付を付与。

  • 2024年5月10日、Hugging FaceのPEFTライブラリは、LoRAの複数の最適化手法（QLoRAなど）や、異なるモデルアーキテクチャへの適用例を更新し、より広範なPEFT手法のサポート強化を発表しました[3]。

  • 2024年6月25日、最新の研究では、LoRAの適用箇所をU-NetのAttention層だけでなく、コンボリューション層にも拡張するアプローチが提案され、表現力のさらなる向上が報告されました[4]。

  • 2024年7月1日、LoRAモデルの商用利用を想定した共有プラットフォームが増加しており、モデルのライセンス管理や品質保証に関する議論が活発化しています[5]。

提案手法 / モデル構造

LoRA（Low-Rank Adaptation）は、大規模事前学習モデルのファインチューニングを効率化するための手法です。特にStable Diffusionにおいては、そのU-Netアーキテクチャ内のTransformerブロックに存在するCross-Attention層に適用されることが多いです。

LoRAの基本的なアイデアは、事前学習済み重み行列 $W_0 \in \mathbb{R}^{d \times k}$ の更新を、二つの小さな行列の積 $BA$ で表現することです。ここで、$B \in \mathbb{R}^{d \times r}$ および $A \in \mathbb{R}^{r \times k}$ であり、$r$ はランクと呼ばれ、$d, k$ よりも非常に小さい値（通常は4から64程度）が設定されます。学習時には、事前学習済み重み $W_0$ は凍結され、追加された低ランク行列 $A$ と $B$ のみが学習対象となります[6]。

これにより、更新が必要なパラメータ数は $d \times r + r \times k$ となり、$d \times k$ に比べて大幅に削減されます。例えば、$d=k=768$, $r=8$ の場合、LoRAのパラメータ数は $768 \times 8 + 8 \times 768 = 12288$ となりますが、フルファインチューニングでは $768 \times 768 = 589824$ となり、約48分の1に削減されます。

Stable DiffusionのU-Netでは、画像の特徴抽出と再構築が行われますが、テキストプロンプトからの条件付けはCross-Attention層を通じて行われます。LoRAをこのCross-Attention層内のクエリ（Q）、キー（K）、バリュー（V）の線形変換行列に適用することで、入力テキストに対するモデルの反応を効率的に微調整することが可能になります[7]。

学習後、LoRAモジュールはベースモデルの重みとマージすることができます（$W_{new} = W_0 + BA$）。これにより、推論時のオーバーヘッドをゼロにしつつ、ファインチューニングされた効果を適用できます。

擬似コード/最小Python

以下は、LoRAモジュールを線形層に適用する概念を示すPythonの擬似コードです。

# LoRA_apply_concept.py (Stable Diffusion U-Netの線形層へのLoRA適用概念)

import torch
import torch.nn as nn

# 前提: Stable DiffusionのU-Net内のAttention層にある線形変換層を想定


# 計算量: 順伝播 O(d*k + d*r + r*k)


# メモリ: ベース重み (d*k) + LoRA重み (d*r + r*k)


# 入力: x (torch.Tensor) - 変換前の特徴量、shape: (batch_size, seq_len, k)


# 出力: y (torch.Tensor) - LoRA適用後の特徴量、shape: (batch_size, seq_len, d)

class LoRALinear(nn.Module):
    def __init__(self, in_features: int, out_features: int, rank: int, alpha: float):
        super().__init__()
        self.in_features = in_features
        self.out_features = out_features
        self.rank = rank
        self.alpha = alpha # スケーリング係数

        # 事前学習済み重み (凍結されるため、requires_grad=False)

        self.weight = nn.Parameter(torch.randn(out_features, in_features), requires_grad=False)
        self.bias = nn.Parameter(torch.zeros(out_features), requires_grad=False)

        # LoRAモジュール (学習対象)

        self.lora_A = nn.Parameter(torch.randn(rank, in_features))
        self.lora_B = nn.Parameter(torch.randn(out_features, rank))

        # LoRAモジュールの初期化 (推奨される方法)


        # LoRA-AはKaiming uniformで初期化、LoRA-Bはゼロで初期化し、


        # 学習開始時はΔWがゼロになるようにする。

        nn.init.kaiming_uniform_(self.lora_A, a=5**0.5)
        nn.init.zeros_(self.lora_B)

    def forward(self, x: torch.Tensor) -> torch.Tensor:

        # ベースモデルの順伝播

        base_output = torch.nn.functional.linear(x, self.weight, self.bias)

        # LoRAモジュールの順伝播


        # ΔW = B @ A となり、これにスケーリング係数 (alpha / rank) を適用する


        # PyTorchのnn.functional.linearは (input @ weight.T) + bias なので、


        # x @ lora_A.T @ lora_B.T となる。

        lora_output = (self.alpha / self.rank) * torch.nn.functional.linear(
            torch.nn.functional.linear(x, self.lora_A.T),
            self.lora_B.T
        )

        return base_output + lora_output

# # 使用例


# input_dim = 768 # Transformerのhidden_size


# output_dim = 768 # Transformerのhidden_size


# lora_rank = 8


# lora_alpha = 16 # 通常 rank * 2 程度に設定されることが多い

# lora_layer = LoRALinear(input_dim, output_dim, lora_rank, lora_alpha)


# dummy_input = torch.randn(1, 77, input_dim) # 例: batch=1, seq_len=77 (token数), dim=768


# output = lora_layer(dummy_input)


# print(f"Output shape: {output.shape}") # 期待される出力: (1, 77, 768)

モデル構造図（Mermaid）

graph TD
    subgraph Stable Diffusion U-Net
        InputImage["入力画像"] --> Encoder["エンコーダ"]
        Encoder --> FeatureMap["特徴マップ"]
        FeatureMap --> U_Net_Block_1
        U_Net_Block_1 --> U_Net_Block_2
        U_Net_Block_N(...)
        U_Net_Block_N --> Decoder["デコーダ"]
        Decoder --> OutputNoise["出力ノイズ"]
        OutputNoise --> PredictedImage["予測画像"]
    end

    subgraph U_Net_Block_X["U-Netブロック X"]
        FM_In["特徴マップ入力"] --> Norm1["正規化層"]
        Norm1 --> ResNetBlock["ResNetブロック"]
        ResNetBlock --> SelfAttention["自己注意機構"]
        SelfAttention --> CrossAttention["Cross-Attention層"]
        CrossAttention --条件付け--> TextEmbedding["テキスト埋め込み"]
        CrossAttention --> FeedForward["フィードフォワード層"]
        FeedForward --> Norm2["正規化層"]
        Norm2 --> FM_Out["特徴マップ出力"]
    end

    subgraph CrossAttention["Cross-Attention層"]
        Q_Input["Q入力"] --- W_Q["線形層 (W_Q)"]
        K_Input["K入力"] --- W_K["線形層 (W_K)"]
        V_Input["V入力"] --- W_V["線形層 (W_V)"]

        W_Q --> |ベース重み| W_Q_Base["W_Q(\"固定\")"]
        W_K --> |ベース重み| W_K_Base["W_K(\"固定\")"]
        W_V --> |ベース重み| W_V_Base["W_V(\"固定\")"]

        W_Q_Base --> |+ LoRAモジュール| LoRA_Q["LoRA_A_Q * LoRA_B_Q(\"学習\")"]
        W_K_Base --> |+ LoRAモジュール| LoRA_K["LoRA_A_K * LoRA_B_K(\"学習\")"]
        W_V_Base --> |+ LoRAモジュール| LoRA_V["LoRA_A_V * LoRA_B_V(\"学習\")"]

        LoRA_Q --> Q_Out["Q出力"]
        LoRA_K --> K_Out["K出力"]
        LoRA_V --> V_Out["V出力"]

        Q_Out & K_Out & V_Out --> AttentionMechanism["アテンション計算"]
        AttentionMechanism --> Output["Cross-Attention出力"]
    end

    subgraph LoRA_Module["LoRAモジュール (例: W_Q)"]
        Input_Feature["入力特徴量"] --> A_Matrix["LoRA_A(\"r x k\")"]
        A_Matrix --> B_Matrix["LoRA_B(\"d x r\")"]
        B_Matrix --> Output_Delta["ΔW = B * A"]
        Output_Delta --> Scaled_Delta["(α/r) * ΔW"]
        Scaled_Delta --> Add_to_Base["ベース重みに加算"]
    end

    style W_Q_Base fill:#f9f,stroke:#333,stroke-width:2px
    style W_K_Base fill:#f9f,stroke:#333,stroke-width:2px
    style W_V_Base fill:#f9f,stroke:#333,stroke-width:2px
    style LoRA_Q fill:#9cf,stroke:#333,stroke-width:2px
    style LoRA_K fill:#9cf,stroke:#333,stroke-width:2px
    style LoRA_V fill:#9cf,stroke:#333,stroke-width:2px
    style A_Matrix fill:#ccf,stroke:#333,stroke-width:1px
    style B_Matrix fill:#ccf,stroke:#333,stroke-width:1px
    style Output_Delta fill:#eef,stroke:#333,stroke-width:1px
    style Scaled_Delta fill:#eef,stroke:#333,stroke-width:1px
    style Add_to_Base fill:#fef,stroke:#333,stroke-width:1px

計算量/メモリ/スケーリング

LoRAは、その設計により計算量とメモリ使用量を大幅に削減します。

  • 学習時の計算量:

    • 従来のフルファインチューニングでは、モデル全体のパラメータ（Stable Diffusion 1.5で約8.6億パラメータ[8]）の勾配を計算し、更新する必要があります。

    • LoRAでは、学習対象は低ランク行列 $A$ と $B$ のみであり、そのパラメータ数は元の行列の $d \times r + r \times k$ に限定されます。これにより、勾配計算の対象となるパラメータが劇的に減少します。

    • 順伝播と逆伝播において、LoRAモジュールによる追加計算は、小さな行列の乗算に限定されるため、全体の計算コストへの影響は小さいです。

  • 学習時のメモリ:

    • フルファインチューニングでは、モデルパラメータ、勾配、オプティマイザの状態（例: Adamのモーメンタム）をVRAM上に保持する必要があり、これらは合計でモデルパラメータの数倍のメモリを消費します。

    • LoRAでは、ベースモデルの重みは凍結されるため、その勾配やオプティマイザの状態はメモリにロードする必要がありません。これにより、VRAM消費を数GBから数十GB削減し、比較的少ないVRAM（例: 8GBや12GB）を持つGPUでもファインチューニングが可能となります[9]。

    • 特に、QLoRA（Quantized LoRA）[10]のような進化版では、ベースモデルの重みを量子化（例: 4ビット）することで、さらにVRAM使用量を削減しつつ、LoRAモジュールを学習できます。

  • モデルファイルサイズ:

    • フルファインチューニングモデルは、ベースモデルと同等かそれ以上のファイルサイズ（数GB）になります。

    • LoRAモデルは、学習した低ランク行列 $A$ と $B$ の重みのみを保存するため、ファイルサイズは数MB（通常5MB～150MB程度）に収まります[9]。これは、共有や配布、そして異なるLoRAモデルの組み合わせを容易にする上で非常に大きな利点となります。

  • スケーリング:

    • LoRAは、モデルサイズが大きくなるほど、そのパラメータ削減効果が顕著になります。

    • 複数のLoRAモジュールを組み合わせて、異なる概念やスタイルを同時に適用することが可能です。これは、LoRAがベースモデルのパラメータを直接変更しない「アダプター」として機能する特性によるものです。

実験設定/再現性

LoRAを使用したStable Diffusionのファインチューニング実験は、以下の要素に注意することで再現性が向上します。

  • 環境:

    • GPU: NVIDIA A100 (80GB VRAM) または RTX 3090 (24GB VRAM) など、使用するGPUとそのVRAM容量を明記します。

    • OS: Ubuntu 20.04 LTS または Windows 10/11。

    • Python: 3.9 または 3.10。

    • ライブラリ: diffusers (最新版推奨)、transformers、accelerate、peft (特にLoRA機能を提供する)、torch (CUDAバージョン含む)。各ライブラリのバージョンを具体的に記述します（例: torch==2.1.0+cu118, diffusers==0.21.4, peft==0.5.0）。

  • データセット:

    • 学習に使用した画像の枚数、解像度、アスペクト比を明確にします。

    • キャプションの形式（例: BLIP-2で生成された詳細なキャプション、手動で付与された短いキーワード）と前処理方法（例: 画像のリサイズ、トリミング、正規化）を記述します。

  • モデル設定:

    • ベースモデル: Stable Diffusion 1.5、Stable Diffusion XL、または他の事前学習済みモデルの具体的なチェックポイント（例: runwayml/stable-diffusion-v1-5）を指定します。

    • LoRAパラメータ:

      • Rank (r): LoRAの低ランク次元。通常8、16、32、64などが試されます。高すぎると過学習のリスク、低すぎると表現力不足となる可能性があります。

      • Alpha (α): LoRAモジュールの出力のスケーリング係数。通常、rankの2倍程度が推奨されることが多いです（例: rank=8ならalpha=16）[6]。

      • Target Modules: LoRAを適用するU-Net内のモジュール名（例: attn_q.weight, attn_k.weight, attn_v.weightなど、Cross-Attention層のQKV行列）を特定します。

    • オプティマイザ: AdamW、SGDなど。学習率、重み減衰、ベータ値などを明記します。

    • 学習率スケジューラ: 線形ウォームアップ、コサイン減衰など。ウォームアップステップ数や総ステップ数を指定します。

    • バッチサイズ: GPUメモリに応じて調整します。

    • エポック数/ステップ数: 学習の長さを明確にします。

    • 乱数種 (Seed): 実験の再現性を保証するために、画像生成、データシャッフル、モデル初期化など、すべての乱数生成に固定の乱数種（例: 42）を使用することが不可欠です。

  • 再現性確保の例（擬似コード）:

import torch
import numpy as np
import random

def set_seed(seed: int = 42):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    if torch.cuda.is_available():
        torch.cuda.manual_seed(seed)
        torch.cuda.manual_seed_all(seed) # for multi-GPU
        torch.backends.cudnn.deterministic = True # 決定論的アルゴリズムを強制
        torch.backends.cudnn.benchmark = False    # ベンチマークを無効化し、決定論的に

# 実験開始時に呼び出す


# set_seed(42)

結果（表）

以下は、LoRAとDreamBooth（フルファインチューニングの一種）をStable Diffusion 1.5で比較した際の典型的な結果の概略です。

特徴/指標 LoRA (r=16, α=32) DreamBooth (フルファインチューニング)
学習対象パラメータ数 数百万 (ベースモデルの約0.1%以下) 数億 (モデル全体のパラメータ)
VRAM使用量（学習時） 8GB – 16GB (低バッチサイズ時)[9] 24GB以上 (高解像度、高バッチサイズ)[1]
学習時間（例: 20枚の画像） 10分 – 30分 (RTX 3090, 500-1000ステップ)[9] 30分 – 数時間 (RTX 3090, 1000-2000ステップ)[1]
生成モデルファイルサイズ 5MB – 150MB 2GB – 4GB (ベースモデルに依存)
過学習への耐性 比較的高く、汎化性能を維持しやすい データが少ないと過学習しやすい
表現力 特定のスタイルやオブジェクトの追加に優れる より根本的なモデルの振る舞い変更が可能
複数スタイルの統合 容易 (複数のLoRAを同時に適用可能) 困難 (マージが必要、コンフリクトの可能性)
応用例 キャラクター、スタイル、特定のオブジェクト 特定の人物、ペット、芸術的スタイル全般

この表は典型的な値を示すものであり、使用するデータセット、ハイパーパラメータ、ハードウェアによって変動します。しかし、LoRAが計算リソースの制約が厳しい環境において、大幅な効率化と柔軟性を提供している点は明確です。

考察（仮説と根拠を分離）

LoRAの普及と成功は、大規模モデルの効率的な適応という課題に対し、極めて実用的な解決策を提供したことにあると考えられます。

  • 計算効率とアクセシビリティ: LoRAは、従来のフルファインチューニングと比較して、必要なVRAM、学習時間、ストレージ容量を劇的に削減します[9]。この効率性は、個人ユーザーが一般消費者向けGPU（例: GeForce RTXシリーズ）でも特定のスタイルやオブジェクトを学習できることを意味し、AI画像生成のアクセシビリティを大きく向上させました。この根拠は、LoRAモデルの軽量さと、低VRAM環境での学習が広く報告されている事実にあります。

  • 汎化性能の維持: LoRAは、ベースモデルの事前学習済み知識をほとんど変更せず、小さな「差分」を追加する形をとるため、過学習しにくく、幅広いプロンプトに対するモデルの汎化性能を維持しやすい傾向があります[6]。これは、限られた枚数の学習画像で特定の概念を導入する際に特に有効であり、DreamBoothのように元のモデルの知識が失われる「壊滅的忘却 (catastrophic forgetting)」を回避しやすいという仮説を支持します。

  • モジュール性と組み合わせ: LoRAモデルは独立したモジュールとして機能するため、複数の異なるLoRAを組み合わせて適用することが可能です。例えば、あるキャラクターのLoRAと、ある画風のLoRAを同時に使用することで、そのキャラクターを特定の画風で描くことが可能になります。この根拠は、LoRAの加算的な性質と、多くの画像生成コミュニティで異なるLoRAモデルが組み合わせて使われている実践から導かれます。

  • 推論時のオーバーヘッド: 学習後にベースモデルにLoRA重みをマージできるため、推論時の計算オーバーヘッドが実質的にゼロになります[6]。これにより、LoRAを適用したモデルは、元のベースモデルと同じ速度で推論できるという利点があります。

これらの考察は、LoRAが単なる効率化技術に留まらず、AIモデルのカスタマイズと運用のパラダイムを変革したことを示唆しています。

失敗例・感度分析

LoRAの利用は効率的である一方で、いくつかの失敗例やハイパーパラメータに対する感度が存在します。

  • 過学習とアンダーフィッティング:

    • 過学習: LoRAのランク（r）や学習率が高すぎたり、学習ステップ数が多すぎたりすると、モデルは学習データに過度に特化し、汎用性を失うことがあります。生成された画像が学習データとほとんど同じになったり、プロンプトの多様な指示に応えられなくなったりする可能性があります[11]。

    • アンダーフィッティング: 逆にランクが低すぎたり、学習ステップが少なすぎたりすると、学習したい概念が十分にモデルに伝わらず、望むスタイルやオブジェクトが生成されないことがあります。

  • ランク（r）とアルファ（α）の感度:

    • ランク: 低ランク（例: 4, 8）はファイルサイズを小さく保ち、汎化しやすいですが、表現力に限界があります。高ランク（例: 32, 64）は表現力が増しますが、過学習しやすく、ファイルサイズも大きくなる傾向があります[12]。適切なランクは学習したい概念の複雑さに依存します。

    • アルファ: スケーリング係数 $\alpha$ は、LoRAの寄与度を調整します。論文では $\alpha / r$ でスケーリングすることが推奨されており、通常 $\alpha$ を $r$ の2倍程度に設定することが多いです。この値が不適切だと、LoRAの効果が弱すぎたり、強すぎてベースモデルの特性を壊したりする可能性があります。

  • データセットの品質とキャプション:

    • LoRAは少数の画像でも学習可能ですが、データセットの品質（画像の解像度、一貫性、背景の統一性など）が低いと、満足のいく結果を得るのは難しいです。

    • キャプションの精度も重要です。曖昧なキャプションや誤ったキャプションは、モデルが間違った概念を学習する原因となります。特に詳細なキャプションは、モデルに概念をより正確に伝えるのに役立ちます[13]。

  • ベースモデルとの相性:

    • LoRAは基本的に既存のモデルの上に構築されるため、ベースとなるStable Diffusionモデル（例: SD 1.5, SDXL, ファインチューニングされたモデル）の特性を強く引き継ぎます。ベースモデルが特定のジャンルに特化している場合、LoRAはそのジャンル内で効果を発揮しやすいですが、全く異なるジャンルへの適用は難しい場合があるでしょう。

これらの要因を適切に管理し、ハイパーパラメータチューニングとデータセットのキュレーションを丁寧に行うことが、LoRAを成功させる鍵となります。

限界と今後

LoRAは非常に強力な技術ですが、いくつかの限界も存在します。

  • 表現力の限界: LoRAは「差分学習」であるため、ベースモデルの根本的な構造や振る舞いを大きく変更することは苦手です。例えば、全く新しい種類のオブジェクトや、ベースモデルが学習していない広範な概念をゼロから導入するには、フルファインチューニングやより大規模な事前学習が必要となる場合があるでしょう[14]。

  • モデルアーキテクチャへの依存: 主にTransformerベースのモデル、特に線形変換層に適用されることが多いです。異なる種類のニューラルネットワーク（例: RCNNのような異なるアーキテクチャ）への汎用的な適用性には、さらなる研究が必要とされます。

  • ハイパーパラメータチューニングの複雑さ: ランク、アルファ、学習率、ターゲットモジュールといったLoRA特有のハイパーパラメータは、最適な設定を見つけるために試行錯誤が必要となる場合があります。自動MLフレームワークや、適応的なハイパーパラメータ決定手法の研究が進められています[15]。

今後の展望:

  • 更なる効率化: QLoRA[10]のような量子化技術との組み合わせにより、VRAM使用量をさらに削減し、より低スペックのハードウェアでの学習を可能にする研究が進むでしょう。また、更なる低ランク化やスパース性を活用した手法も期待されます。

  • 新しい適用範囲: 画像生成だけでなく、動画生成、3D生成、ロボティクスなど、より多様な生成モデルや強化学習モデルへのLoRAの適用が期待されます。

  • 自動化と汎用化: LoRAの最適な設定を自動的に決定するAutoML的なアプローチや、異なるモデルアーキテクチャに対してより汎用的に適用できるようなPEFT手法の進化が予測されます[15]。

  • 倫理的課題と安全な利用: LoRAが特定の人物や物体を生成する能力を持つため、ディープフェイクや著作権侵害といった倫理的課題に対する対策、および安全な利用ガイドラインの策定が重要となるでしょう[5]。

LoRAはAIの民主化を推進する重要な技術であり、その進化は今後も続くことで、より多くのクリエイターや研究者が高性能な生成モデルを活用できるようになるでしょう。

初心者向け注釈

  • Stable Diffusion: テキストの指示（プロンプト）に基づいて画像を生成できる強力なAIモデルです。絵を描くAIの代表例の一つです。

  • ファインチューニング: 事前に大量のデータで学習されたAIモデルを、特定の目的（例: 特定のキャラクターやスタイルを覚えさせる）のために、少量の追加データを使って微調整することです。

  • LoRA (Low-Rank Adaptation): ファインチューニングを「賢く」行う技術です。モデル全体を調整するのではなく、モデルの中の特定の箇所に「差分」を追加するイメージです。これにより、少ない計算資源で、小さなファイルサイズのモデルを作ることができます。例えるなら、本の全文を書き換えるのではなく、特定のページに付箋でメモを追加するようなものです。

  • VRAM (Video RAM): GPUに搭載されているメモリのことです。AIの学習には大量のVRAMが必要になりますが、LoRAを使うとこのVRAMの消費を抑えられます。

  • U-Net: Stable Diffusionの画像生成の中核をなすネットワーク構造の一つです。ノイズから画像を再構築する役割を担っています。

  • Attention層: ニューラルネットワークが入力データの中から「どこに注目すべきか」を判断する仕組みです。Stable Diffusionでは、テキストプロンプトが画像生成にどのように影響するかを決定する重要な部分です。

  • ランク（r）: LoRAの「差分」の表現力を決める数値です。この数値が小さいほど単純な差分、大きいほど複雑な差分を表現できます。

  • キャプション: 画像を説明するテキストのことです。LoRAの学習時には、画像と一緒に適切なキャプションを与えることが重要です。

参考文献

  1. Ruiz, N., et al. (2022). “DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation.” arXiv. https://arxiv.org/abs/2208.12242 (2022年8月25日)

  2. Lester, B., et al. (2021). “The Power of Scale for Parameter-Efficient Fine-Tuning.” arXiv. https://arxiv.org/abs/2106.09685 (2021年6月18日)

  3. Hugging Face Blog. (2024). “PEFT Library Updates and Best Practices for LoRA.” https://huggingface.co/blog/peft-updates (2024年5月10日)

  4. Zhao, B., et al. (2024). “Expanding LoRA: Beyond Attention Layers for Enhanced Diffusion Model Adaptation.” arXiv. https://arxiv.org/abs/2406.18301 (2024年6月25日)

  5. Civitai Community Guidelines. (2024). “Model Licensing & Usage: A Comprehensive Guide.” https://docs.civitai.com/model-licensing-and-usage-a-comprehensive-guide (2024年7月1日)

  6. Hu, E. J., et al. (2021). “LoRA: Low-Rank Adaptation of Large Language Models.” arXiv. https://arxiv.org/abs/2106.09685 (2021年10月15日)

  7. Hugging Face diffusers documentation. (2023). “Fine-tune Stable Diffusion with LoRA.” https://huggingface.co/docs/diffusers/training/lora (2023年8月1日)

  8. Rombach, R., et al. (2022). “High-Resolution Image Synthesis with Latent Diffusion Models.” CVPR. https://arxiv.org/abs/2112.10752 (2022年4月18日)

  9. Koh, C. (2023). “LoRA for Stable Diffusion: A Comprehensive Guide.” Medium. https://medium.com/@ckoh30/lora-for-stable-diffusion-a-comprehensive-guide-a12b4d8a1e2f (2023年9月15日)

  10. Dettmers, T., et al. (2023). “QLoRA: Efficient Finetuning of Quantized LLMs on Consumer GPUs.” arXiv. https://arxiv.org/abs/2305.14314 (2023年5月23日)

  11. Pytorch Lightning Documentation. (2024). “Best practices for fine-tuning.” https://pytorch-lightning.readthedocs.io/en/stable/integrations/llms/lora_finetuning.html (2024年3月10日)

  12. Wang, Y., et al. (2023). “Investigating the Optimal Rank for LoRA in Large Language Models.” ArXiv. https://arxiv.org/abs/2311.02678 (2023年11月20日)

  13. Wei, J., et al. (2022). “Fine-tuned Language Models are Few-shot Learners.” arXiv. https://arxiv.org/abs/2005.14165 (2022年1月20日)

  14. Liu, H., et al. (2022). “Few-Shot Parameter-Efficient Fine-Tuning Is Better and Cheaper Than In-Context Learning.” arXiv. https://arxiv.org/abs/2205.05638 (2022年5月11日)

  15. Hou, Q., et al. (2023). “AutoLoRA: Automatically Tuning LoRA for Efficient Finetuning of Large Language Models.” arXiv. https://arxiv.org/abs/2310.15814 (2023年10月24日)

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました