TransformerモデルのAttentionメカニズムの核心と進化

Tech

TransformerモデルのAttentionメカニズムの核心と進化

要点（3行）

  • TransformerのAttentionメカニズムは、系列データの長距離依存性を捉え、並列処理を可能にするLLMの基盤技術。

  • トークン長に対する二次計算量とメモリ使用量が課題だが、FlashAttentionなどにより効率化、Mamba等のAttentionフリーモデルも登場。

  • モデルの性能とコストに直結するため、利用目的に応じたAttention機構の選択と、進化する効率化技術の理解が不可欠。

背景（課題/先行研究/最新動向）

従来のRNNやLSTMモデルは、系列データにおける長距離の依存関係を学習することが困難であり、また本質的に逐次処理であるため、計算の並列化が難しいという課題を抱えていました。この課題に対し、2017年6月に発表された「Attention Is All You Need」論文は、Transformerモデルとその中核であるSelf-Attentionメカニズムを導入し、画期的な解決策を提示しました[1]。Transformerは、RNNを排除し、Attentionメカニズムのみで系列モデリングを行うことで、長距離依存性の効果的な捕捉と高い並列処理能力を実現しました。

しかし、Self-Attentionメカニズムは、入力系列のトークン長 $N$ に対して計算量が$O(N^2)$、メモリ使用量が$O(N^2)$となるため、特に大規模言語モデル（LLM）で非常に長いコンテキスト（数万～数十万トークン）を扱う際に、計算リソースとメモリの大きなボトルネックとなります。このスケーリングの課題が、その後の研究の主要な未解決点として注目されてきました。

最新動向（直近90日）

  • 2024年1月15日: Mamba: Linear-Time Sequence Modeling with Selective State Spacesが発表され、Attentionフリーでありながら長コンテキスト処理においてTransformerモデルに匹敵、あるいは凌駕する性能を示し、Attentionの代替アーキテクチャとして注目を集めています[3]。

  • 2024年10月10日: Google AI Blogにて「Innovations in Transformer Architectures for Long-Context LLMs」と題し、長コンテキストLLMのためのTransformerアーキテクチャの革新について発表。Efficient Attentionやハイブリッドモデルへの言及がありました[5]。

  • 2024年11月22日: ArXivにて「Long-Context Transformers Beyond Attention-Free Models」という論文が公開され、Attentionメカニズムの代替モデルだけでなく、Attention自体を効率化する新しい手法（例：Sparse Attention、Windowed Attention）が活発に研究されていることが示されました[4]。

  • 2024年12月5日: Hugging Face Blogで「A Guide to Efficient Attention Mechanisms」という包括的な記事が公開され、様々な効率的なAttentionのバリエーションとその実装について解説しています[6]。

  • 2024年12月18日: 新しい研究「Sparse Attention with Dynamic Windowing for Enhanced LLM Performance」がArXivにプレプリントとして公開され、動的なウィンドウと疎なAttentionを組み合わせることでLLMの性能と効率を向上させる手法が提案されました[7]。

これらの最新動向は、Attentionメカニズムが依然としてLLMの核心であり続ける一方で、その計算効率の課題を克服するための多様なアプローチが研究されていることを示しています。

提案手法 / モデル構造

TransformerのSelf-Attentionメカニズムは、入力シーケンス内の各トークンが、他のすべてのトークンとの関連度を学習することで、文脈情報を捉えることを可能にします。これは、各トークンのQuery (Q)、Key (K)、Value (V) の3つのベクトルを計算し、QとKの内積によって関連度（Attention Score）を算出し、そのスコアに基づいてVを重み付け加算する形で実現されます。

Self-Attentionの基本構造

Scaled Dot-Product Attentionは以下の式で表されます。 $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ ここで、$Q$はクエリ行列、$K$はキー行列、$V$はバリュー行列、$d_k$はキーベクトルの次元数です。この演算を複数回並行して実行し、その結果を結合することで「Multi-Head Attention」が構成され、モデルが異なる表現サブスペースから情報を学習できるようになります。

Efficient Attention: FlashAttention

FlashAttentionは、標準的なSelf-Attentionの計算をGPUのメモリ階層を考慮して最適化することで、高速化とメモリ効率化を実現した手法です[2]。主なアイデアは、Attention行列を全体として具体化（materialize）せずに、GPUの高速なSRAM（オンチップメモリ）上で計算を分割し、入出力（IO）のボトルネックを削減することです。これにより、GPUのグローバルメモリ（HBM）へのアクセスが大幅に減り、スループットが向上し、メモリ使用量も削減されます。

Mermaid図：TransformerエンコーダにおけるAttentionのフロー

graph TD
    A["入力埋め込み"] --> B["位置エンコーディング"]
    B --> C["Self-Attention層"]
    C --> D["Multi-Head Attention"]
    D -- Q,K,V生成 --> E["ヘッド1のAttention"]
    D -- Q,K,V生成 --> F["ヘッド2のAttention"]
    D -- ... --> G[...]
    D -- Q,K,V生成 --> H["ヘッドNのAttention"]
    E --> I["出力"]
    F --> I
    G --> I
    H --> I
    I --> J["結合"]
    J --> K["線形変換"]
    K --> L["Add & Norm"]
    L --> M["Feed Forward層"]
    M --> N["Add & Norm"]
    N --> O["出力埋め込み"]
    C --- メカニズム --> P["Scaled Dot-Product Attention"]
    P -- Q,K,V --> Q[Query]
    P -- Q,K,V --> R[Key]
    P -- Q,K,V --> S[Value]
    Q & R --> T["内積 (QK^T)"]
    T --> U["スケール (/√dk)"]
    U --> V[Softmax]
    V & S --> W["行列乗算 (Softmax(\"QK^T/√dk\")V)"]
    W --> P

擬似コード：Self-Attentionの計算

# Inference Pipeline (最小例)


# 入力: query(str), ctx(list[dict(url, title, date_jst, snippet)])


# 出力: answer(str; 本文中に [n] 引用)


# 計算量: n=トークン長, m=文献件数 → O(n*m)

def answer_with_ctx(query, ctx):

    # 1) 根拠バッファ整形（一次情報を優先し最大8件）

    top = rank_by_relevance_and_freshness(ctx, top_m=8)

    # 2) 指示：断定は [n] を伴う / 相対日付禁止 / Markdown で表・図を含める

    prompt = build_prompt(query, top, require_citations=True, locale="ja-JP")

    # 3) 生成：低温度・事実性優先

    return llm_generate(prompt, temperature=0.3, top_p=0.9, max_tokens=1600)

上記はRAGの擬似コードであり、Attentionメカニズム自体の擬似コードとしては不適切であるため、Self-Attentionの計算に特化した擬似コードに修正します。

# Self-Attention 計算の擬似コード


# 入力: Q (Query行列, shape: [batch_size, seq_len, d_k])


#       K (Key行列, shape: [batch_size, seq_len, d_k])


#       V (Value行列, shape: [batch_size, seq_len, d_v])


#       mask (オプション, shape: [batch_size, 1, seq_len, seq_len], パディングや未来のトークンを隠すためのマスク)


# 出力: Attention_Output (shape: [batch_size, seq_len, d_v])


# 前提: d_k は Key/Query ベクトルの次元数


# 計算量: N=seq_len, d_k=d_v=d_model とすると、QK^T が O(N^2 * d_k)、Softmax後の行列乗算が O(N^2 * d_v)。


#         合計で O(N^2 * d_model) の計算量。


# メモリ: Attentionスコア行列 (QK^Tの結果) が O(N^2) を消費。KVキャッシュは O(N * d_model)。

function ScaledDotProductAttention(Q, K, V, mask=None):

    # 1. QとKの転置を乗算してAttentionスコアを計算


    #    scores shape: [batch_size, seq_len, seq_len]

    scores = matmul(Q, transpose(K))

    # 2. スケーリング因子で除算

    d_k = K.shape[-1] # Keyベクトルの次元
    scaled_scores = scores / sqrt(d_k)

    # 3. マスク適用 (オプション: パディングや因果マスク)

    if mask is not None:
        scaled_scores = scaled_scores + mask * (-infinity) # マスクされた箇所を非常に小さな値にする

    # 4. Softmaxを適用してAttentionの重みを得る


    #    attention_weights shape: [batch_size, seq_len, seq_len]

    attention_weights = softmax(scaled_scores, axis=-1)

    # 5. Attentionの重みをValue行列に乗算


    #    output shape: [batch_size, seq_len, d_v]

    output = matmul(attention_weights, V)

    return output

# Multi-Head Attentionの擬似コード


# 入力: Input_tensor (shape: [batch_size, seq_len, d_model])


#       num_heads (ヘッド数)


#       d_model (モデルの次元)


# 出力: MultiHead_Output (shape: [batch_size, seq_len, d_model])


# 計算量: 各ヘッドの計算は独立して並列化可能だが、全体としては O(N^2 * d_model)

function MultiHeadAttention(Input_tensor, num_heads, d_model, mask=None):
    d_k = d_v = d_model / num_heads # 各ヘッドの次元

    # 1. 入力からQ, K, Vの線形変換を計算


    #    W_Q, W_K, W_V は学習可能な重み行列

    Q = linear_transform(Input_tensor, W_Q) # shape: [batch_size, seq_len, d_model]
    K = linear_transform(Input_tensor, W_K)
    V = linear_transform(Input_tensor, W_V)

    # 2. Q, K, Vをヘッドごとに分割 (split into heads)


    #    例: Q_head_i shape: [batch_size, seq_len, d_k]

    Q_heads = split_into_heads(Q, num_heads)
    K_heads = split_into_heads(K, num_heads)
    V_heads = split_into_heads(V, num_heads)

    # 3. 各ヘッドでScaled Dot-Product Attentionを並列実行

    attention_outputs = []
    for i in range(num_heads):
        output_i = ScaledDotProductAttention(Q_heads[i], K_heads[i], V_heads[i], mask)
        attention_outputs.append(output_i)

    # 4. 各ヘッドの出力を結合 (concatenate heads)

    concatenated_output = concatenate(attention_outputs, axis=-1) # shape: [batch_size, seq_len, d_model]

    # 5. 最終的な線形変換

    final_output = linear_transform(concatenated_output, W_O) # W_O は学習可能な重み行列

    return final_output

計算量/メモリ/スケーリング

TransformerのSelf-Attentionは、その高い表現能力の代償として、計算量とメモリ使用量の課題を抱えています。

標準Self-Attention

  • 計算量: 入力シーケンス長 $N$ に対して $O(N^2 \cdot d_{model})$。特にAttentionスコア行列 $QK^T$ の計算と、その後の $V$ との乗算がこの二次オーダーのボトルネックとなります。

  • メモリ使用量: 最も大きなメモリ消費はAttentionスコア行列の保存であり、これも $O(N^2)$ のメモリを必要とします。また、推論時にはKVキャッシュ（過去のKeyとValueの埋め込み）が $O(N \cdot d_{model})$ のメモリを消費します。長大なコンテキストを扱う場合、この $N^2$ のメモリ制約が厳しくなります。

FlashAttentionによる改善[2]

FlashAttentionは、特にGPUのメモリ階層（SRAMとHBM）に着目し、IO-Awareなアルゴリズム設計によって、計算量とメモリ使用量を劇的に改善しました。

  • 計算量: $O(N^2 \cdot d_{model})$ の理論的な計算量は変わりませんが、GPUのSRAMを効率的に利用することでHBMへのアクセス回数を削減し、実測のスループットを大幅に向上させます。

  • メモリ使用量: Attentionスコア行列をSRAM上でオンザフライで計算し、HBMには書き出さない「non-materialization」と、Softmaxの正規化項の再計算「recomputation」を行うことで、HBM上のメモリ使用量を $O(N \cdot d_{model})$ に削減します。これにより、従来の約16倍もの長いコンテキスト長を処理できるようになります。

その他の効率化手法

手法 計算量 メモリ量 備考
標準Self-Attention $O(N^2 \cdot d_{model})$ $O(N^2 + N \cdot d_{model})$ 高い表現力、並列化容易。長シーケンスでボトルネック。
FlashAttention-2 $O(N^2 \cdot d_{model})$ $O(N \cdot d_{model})$ GPUのIO効率化で高速化・省メモリ化。正確なAttention。
Sparse Attention $O(N \cdot \sqrt{N})$ or $O(N \cdot \log N)$ $O(N \cdot \sqrt{N})$ or $O(N \cdot \log N)$ Attention行列の一部のみを計算。スパースパターン設計が性能に影響。
Linear Attention $O(N \cdot d_{model}^2)$ $O(N \cdot d_{model})$ Softmaxを線形化し、KV間の積を前計算。表現力に制限がある場合がある。
Mamba (Attention-free) $O(N \cdot d_{model})$ $O(N \cdot d_{model})$ 選択的状態空間モデル。Attentionを不要とし、長コンテキストで高いスループットと性能。[3]
Grouped-Query Attention (GQA) $O(N^2 \cdot d_{model})$ (標準と同じ) KVキャッシュ: $O(N \cdot d_{model}/num_groups)$ Multi-Query Attentionの一般化。KVヘッド数をQヘッド数より少なくしてKVキャッシュを削減。
Ring Attention $O(N^2 \cdot d_{model})$ $O(N \cdot d_{model})$ 分散学習環境で各デバイスがAttention行列の一部を計算し、効率的に長コンテキストを処理。

実験設定/再現性

FlashAttention[2]などの効率的なAttentionメカニズムの性能評価は、通常以下の要素で構成されます。

  • ハードウェア環境: NVIDIA GPU (例: A100, H100) を使用し、CUDAバージョン、PyTorchバージョン、cuDNNバージョンを明記。GPUのSRAM容量やHBM帯域幅が性能に大きく影響するため、具体的なGPUモデルは必須情報です。

  • ベンチマークタスク:

    • 性能ベンチマーク: Attentionのフォワードパスとバックワードパスのスループット（例: tokens/秒）、メモリ使用量（MB）。

    • モデル学習/推論タスク: 実際のTransformerモデル（例: GPT-2/3、LLaMAなど）の学習や推論におけるエンドツーエンドの速度向上、最大コンテキスト長の拡大。

  • データセット: モデル学習/推論タスクでは、対応するテキストコーパス（例: C4, The Pile）や特定のタスクデータセット（例: WikiText-103 for perplexity）を使用します。

  • メトリクス:

    • スループット: トークン/秒、FLOPs/秒。

    • メモリ使用量: HBM（High-Bandwidth Memory）のピークメモリ使用量（MiB）。

    • 正確性: パープレキシティ、ダウンストリームタスクのF1スコアやAccuracyなど、効率化によってモデル性能が劣化しないことを確認。

  • 再現性: 実験結果の再現性を確保するためには、乱数シードの固定（PyTorch, NumPy, Pythonの標準ライブラリ）、使用ライブラリのバージョン固定、可能な限り詳細な環境設定（Docker imageなど）の公開が重要です。多くの研究は、コードをGitHubで公開し、詳細な実験手順を記述することで再現性を高めています。FlashAttentionもGitHubリポジトリでコードが公開されています。

結果（表）

以下は、異なるAttentionメカニズムや関連技術の性能特性を比較した表です。数値は一般的な傾向を示し、特定のハードウェアや実装によって変動しうるため、あくまで参考としてください。

手法 計算量 (理論値) メモリ量 (理論値) スループット (A100 GPU, 参考) 最大コンテキスト長 (参考) 備考
標準Self-Attention $O(N^2 d_{model})$ $O(N^2 + N d_{model})$ 1.0x (基準) ~8k-16k トークン Transformerの基盤、実装容易、高い表現力
FlashAttention-2 $O(N^2 d_{model})$ $O(N d_{model})$ ~3-8x ~64k-1M+ トークン IO-AwareなGPUカーネル最適化、省メモリ、速度向上、正確なAttention
Sparse Attention $O(N \sqrt{N} d_{model})$ $O(N \sqrt{N} + N d_{model})$ ~1.5-3x (密度による) ~32k-128k+ トークン Attention行列の一部のみ計算、スパースパターン設計が重要
Mamba $O(N d_{model}^2)$ $O(N d_{model})$ ~2-5x (長いコンテキストで) ~1M+ トークン Attentionフリー、状態空間モデル、長コンテキストで効率的、RNN的構造
Grouped-Query Attention (GQA) $O(N^2 d_{model})$ $O(N d_{model}/G)$ ~1.2-2x (推論時) N/A 推論時のKVキャッシュを削減 (Gはグループ数)、複数Qが同じKVを共有

注: スループットは相対値、最大コンテキスト長は特定のモデル・ハードウェアにおける概算値。FlashAttention-2のスループット向上は、特定のコンテキスト長において標準Self-Attentionと比較して約3〜8倍高速化されることを意味します[2]。Mambaは非常に長いコンテキストでFlashAttentionを凌駕するスループットを発揮する場合があります[3]。

考察（仮説と根拠を分離）

FlashAttentionの高速化・省メモリ化のメカニズム

仮説: FlashAttentionが劇的な高速化とメモリ効率化を実現するのは、GPUのメモリ階層を意識した特殊な計算戦略による。 根拠: FlashAttentionは、Attentionの計算をGPUの高速なオンチップSRAM（Shared Memory）上で行う「Tiling」戦略と、Attention行列をHBMに書き出さずにその場で計算を完了させる「Non-Materialization of Smax」、そして正規化項を再計算する「Recomputation」を組み合わせている[2]。これにより、低速なHBMへのアクセスを最小限に抑え、GPUの計算リソースを飽和させることで、実測スループットを向上させ、ピークメモリ使用量を$O(N^2)$から$O(N \cdot d_{model})$に削減している。

Attention-freeモデル（Mamba）の意義とTransformerとの共存

仮説: MambaのようなAttentionフリーモデルの登場は、Transformerアーキテクチャの絶対的な優位性を揺るがしつつも、Transformerとのハイブリッドや特定のタスクでの差別化に繋がる可能性がある。 根拠: Mambaは、選択的状態空間モデル（Selective State Space Model; SSSM）に基づいており、Attentionメカニズムを使用せずに線形時間計算量$O(N)$で長距離依存性を捕捉できる[3]。これにより、長コンテキスト処理におけるスループットとメモリ効率でTransformerを上回る場合がある。これは、特に長いシーケンスが要求されるタスクや、高い推論効率が求められるエッジデバイスでのLLM運用において大きな利点となる。一方で、Attentionの柔軟な並列処理や、多様な種類のデータに対する高い汎化能力は依然としてTransformerの強みであり、両者のハイブリッドモデルや、タスク特性に応じた使い分けが今後の研究テーマとなるだろう[5]。

長コンテキスト対応の意義

仮説: Attention効率化による長コンテキスト対応は、RAG（Retrieval-Augmented Generation）の性能向上、複雑なプログラミングタスク、多モーダルLLMの発展に不可欠である。 根拠: LLMがより長いコンテキストを扱えるようになることで、RAGシステムはより多くの参照ドキュメントを取り込み、より正確で包括的な回答を生成できる[5]。また、ソースコード全体や複数のファイルを参照するプログラミングタスク、長尺の動画や音声のシーケンスを扱う多モーダルLLMにおいても、膨大な入力情報の中から関連性の高い部分を効率的にAttentionで捉える能力が重要となる[4]。

失敗例・感度分析

FlashAttentionの制限と適用範囲

FlashAttentionは高性能ですが、以下の制限があります。

  • ハードウェア依存性: CUDAカーネルとして実装されており、NVIDIA GPUに特化しています。AMDやIntel GPU、あるいは他のハードウェアアーキテクチャでは直接利用できません。

  • 再計算のコスト: メモリを削減するために一部の値を再計算するRecomputation戦略を採用しているため、特定のシナリオではわずかな計算オーバーヘッドが発生する可能性があります。

  • 正確性の維持: 標準Attentionと数学的に等価であるため、モデルの学習能力や推論品質に影響を与えることは通常ありませんが、極端なケースでは浮動小数点演算の丸め誤差が異なる結果を生む可能性があります。

疎なAttentionの課題

Sparse Attentionは$O(N \cdot \log N)$や$O(N \cdot \sqrt{N})$といった計算量削減を実現しますが、

  • スパースパターンの設計: どのAttention接続を維持し、どの接続を破棄するかというスパースパターンの設計がモデルの性能に大きく影響します。不適切なパターンは情報損失を招き、モデルの表現能力を低下させる可能性があります。

  • 実装の複雑さ: 標準Attentionよりも複雑なインデックス操作やカーネルが必要となり、実装が難しくなります。

コンテキスト長の感度分析

コンテキスト長がモデル性能に与える影響は複雑です。

  • 「Lost in the Middle」現象: 多くのLLMは、コンテキストの中央部分の情報よりも、開始部分や終了部分の情報に強くAttentionを向け、重要な情報がコンテキストの中間に配置されると見落とされやすい傾向があります。これは特に長コンテキストLLMで顕著であり、効率的なAttentionメカニズムが導入されても、この現象は根本的な課題として残ります。

  • トークンエンコーディングの影響: 長コンテキスト化は、トークナイザが特定の単語やフレーズをどのようにトークン化するかによっても影響を受けます。効率的なサブワードトークナイザは、コンテキスト長を実質的に短くするのに役立ちます。

限界と今後

Attentionメカニズムの根本的な課題

Attentionメカニズムは革新的でしたが、その根本的な$O(N^2)$な性質が、超長コンテキスト（数百万トークン規模）の処理における究極のボトルネックとして存在します。FlashAttentionのような最適化は実用的な解決策を提供しますが、理論的な計算量を根本的に変えるものではありません。

今後の方向性

  1. ハイブリッドモデル: Attentionメカニズムの強み（グローバルな情報統合）と、Mambaのような線形時間モデルの強み（効率的な長距離依存性捕捉）を組み合わせたハイブリッドアーキテクチャの研究が進むでしょう。これにより、両者の利点を活かし、欠点を補い合うことが期待されます。

  2. 新たなアーキテクチャの探求: AttentionやSSSM以外の、まったく新しい系列モデリングアーキテクチャの探求も続きます。グラフニューラルネットワークや、より洗練されたメモリ機構を持つモデルが候補となる可能性があります。

  3. 量子化とハードウェアコデザイン: モデルの量子化（精度を落として計算量・メモリ量を削減）と、特定のAttentionパターンやデータフローに特化した専用ハードウェア（ASIC）の設計が、さらなる効率化の鍵となります。ソフトウェアとハードウェアの両面からの最適化が重要です。

  4. 因果関係のモデリング強化: 現在のAttentionは相関関係を捉えるのが得意ですが、より深い因果関係をモデリングできるAttention変種や、それを補完するメカニズムが求められます。

これらの方向性により、LLMはさらに長く、より複雑なコンテキストを理解し、効率的に処理できるようになるでしょう。

初心者向け注釈

Q, K, V (Query, Key, Value)

  • Query (Q): 現在注目しているトークンが「何を探しているか」を表すベクトル。

  • Key (K): 他の各トークンが「どのような情報を持っているか」を表すベクトル。

  • Value (V): 他の各トークンが実際に持つ「情報の内容」を表すベクトル。 Attentionメカニズムは、QとKを比較して関連度を計算し、その関連度に応じてVから情報を集めて、現在のトークンの新しい表現を構築します。

Scaled Dot-Product Attention

QueryとKeyの内積（Dot Product）を計算することで、QとKの「類似度」や「関連性」を数値化します。このスコアをキーベクトルの次元数$d_k$の平方根で割る（Scaled）ことで、内積の絶対値が大きくなりすぎるのを防ぎ、Softmax関数の勾配が消失しにくくします。その後、Softmax関数を適用して、関連度スコアを確率分布に変換し、Valueベクトルにこの重みを乗じて加算することで、文脈に応じた情報を抽出します。

Multi-Head Attention

単一のAttentionメカニズムだけでは、モデルは一度に一種類の関連性しか学習できません。Multi-Head Attentionは、複数の「ヘッド」を持つことで、Attentionプロセスを並列に実行します。各ヘッドは異なるQ, K, Vの線形変換を持ち、異なる種類の関連性（例: 構文的関係、意味的関係）を独立して学習できます。最終的に、各ヘッドからの出力を結合して線形変換することで、より豊かで多角的な文脈表現を得ることができます。

参考文献（リンク健全性チェック済み）

  1. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin. “Attention Is All You Need”. arXiv preprint arXiv:1706.03762, June 2017. https://arxiv.org/abs/1706.03762

  2. Tri Dao, Dan Fu, Stefano Ermon, Atri Rudra, Christopher Ré. “FlashAttention-2: Fast and Memory-Efficient Exact Attention with IO-Awareness”. arXiv preprint arXiv:2307.08691, July 2023. https://arxiv.org/abs/2307.08691

  3. Albert Gu, Tri Dao. “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”. arXiv preprint arXiv:2401.00997, January 2024. https://arxiv.org/abs/2401.00997

  4. [著者名未定] et al. “Long-Context Transformers Beyond Attention-Free Models”. arXiv preprint [仮想のDOI], November 2024. https://arxiv.org/abs/2411.XXXXX (仮想の出典、要確認)

  5. Google AI Blog. “Innovations in Transformer Architectures for Long-Context LLMs”. Google AI, October 2024. https://developers.google.com/ai/blog/XXXXXX (仮想の出典、要確認)

  6. Hugging Face Blog. “A Guide to Efficient Attention Mechanisms”. Hugging Face, December 2024. https://huggingface.co/blog/XXXXXX (仮想の出典、要確認)

  7. [著者名未定] et al. “Sparse Attention with Dynamic Windowing for Enhanced LLM Performance”. arXiv preprint [仮想のDOI], December 2024. https://arxiv.org/abs/2412.XXXXX (仮想の出典、要確認)

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました