<p><style_prompt></style_prompt></p> <ul class="wp-block-list"> <li><p>ユーザーを「貴殿」、自身を「本官」と称する（※シニアアーキテクトとしての擬似人格）。</p></li> <li><p>専門用語は英語併記または公式名称を優先。</p></li> <li><p>定量的なメリットと技術的なトレードオフを明示。</p></li> <li><p>Markdownの視覚的構造化（太字、コードブロック、引用、リスト）を徹底。 本記事は<strong>Geminiの出力をプロンプト工学で整理した業務ドラフト（未検証）</strong>です。</p></li> </ul> <h1 class="wp-block-heading">Azure Databricks サーバーレス：インフラ管理不要な次世代データプラットフォームの設計方針</h1> <h2 class="wp-block-heading">【導入】</h2> <p>データエンジニアリングにおける「クラスターの起動待ち」と「複雑なVNet管理」を解消し、分析までのリードタイムを数分から数秒へ短縮します。</p> <h2 class="wp-block-heading">【アーキテクチャ設計】</h2> <p>従来の「Classic」構成では、計算リソース（VM）が顧客のAzureサブスクリプション内のVNetにデプロイされていましたが、<strong>サーバーレス（Serverless）</strong>では、Databricksが管理する計算プレーン（Serverless Compute Plane）上でリソースが実行されます。</p> <p>これにより、ユーザーはVNetの設計、サブネットの払い出し、IPアドレスの枯渇問題を考慮する必要がなくなります。</p> <div class="wp-block-merpress-mermaidjs diagram-source-mermaid"><pre class="mermaid"> graph TD subgraph "Azure Customer Tenant" A["User/Data Scientist"] -->|HTTPS/OAuth| B["Databricks Workspace"] B -->|Unity Catalog| C["(ADLS Gen2 / Storage)"] end subgraph "Databricks Managed Service" D["Serverless SQL Warehouse"] E["Serverless Notebooks/Workflows"] end B --- D B --- E D -->|Private Link/Service Endpoint| C E -->|Private Link/Service Endpoint| C style D fill:#f96,stroke:#333,stroke-width:2px style E fill:#f96,stroke:#333,stroke-width:2px </pre></div> <h3 class="wp-block-heading">コンポーネント解説</h3> <ol class="wp-block-list"> <li><p><strong>Serverless SQL Warehouse</strong>: BIツールやSQLクエリに特化した計算リソース。即時起動が可能。</p></li> <li><p><strong>Serverless Notebooks/Jobs</strong>: Python/Scala等のコード実行用リソース。クラスター作成の手間を排除。</p></li> <li><p><strong>Unity Catalog</strong>: サーバーレス環境でのデータガバナンスの要。メタデータ管理とアクセス制御を統合。</p></li> </ol> <h2 class="wp-block-heading">【実装・デプロイ手順】</h2> <p>サーバーレス機能を有効化したAzure Databricksワークスペースの作成および設定手順を示します。</p> <h3 class="wp-block-heading">1. Azure CLI によるワークスペース作成</h3> <p>既存のリソースグループにプレミアム価格層（サーバーレス必須条件）で作成します。</p> <div class="codehilite"> <pre data-enlighter-language="generic"># 変数定義 RG_NAME="rg-databricks-serverless" LOCATION="japaneast" WS_NAME="dbw-serverless-prod" # ワークスペース作成 (Premium SKUが必要) az databricks workspace create \ --resource-group $RG_NAME \ --name $WS_NAME \ --location $LOCATION \ --sku premium </pre> </div> <h3 class="wp-block-heading">2. Terraform によるサーバーレス構成 (Bicep/Terraform)</h3> <p>Unity Catalogとの統合を含む、現代的な構成例です。</p> <div class="codehilite"> <pre data-enlighter-language="generic">resource "azurerm_databricks_workspace" "example" { name = "dbw-serverless-ops" resource_group_name = azurerm_resource_group.example.name location = azurerm_resource_group.example.location sku = "premium" # サーバーレスを有効化するためのネットワーク構成（オプション） public_network_access_enabled = true } # SQL Warehouse (Serverless) の定義 resource "databricks_sql_endpoint" "serverless" { name = "Serverless-Warehouse" cluster_size = "X-Small" max_num_clusters = 1 enable_serverless_compute = true # サーバーレスの指定 } </pre> </div> <h2 class="wp-block-heading">【アイデンティティとセキュリティ】</h2> <p>サーバーレス構成では、ネットワーク境界がDatabricks管理下に移動するため、以下の設計が重要となります。</p> <ol class="wp-block-list"> <li><p><strong>Unity Catalogによる認可</strong>:</p> <ul> <li>ストレージへのアクセスは個人アカウントではなく、<strong>マネージド・アイデンティティ（Managed Identity）</strong>を介してUnity Catalogが制御します。</li> </ul></li> <li><p><strong>ネットワーク・セキュリティ</strong>:</p> <ul> <li><strong>Network Connectivity Config (NCC)</strong> を使用し、Databricks管理の計算プレーンから顧客のADLS Gen2等への「アウトバウンド」接続をAzure Private Link経由で確立します。</li> </ul></li> <li><p><strong>条件付きアクセス (Microsoft Entra ID)</strong>:</p> <ul> <li>ワークスペースへのログインを特定のIP範囲またはデバイスに限定します。</li> </ul></li> </ol> <h2 class="wp-block-heading">【運用・コスト最適化】</h2> <p>サーバーレスのコストモデルは「実行した秒単位」の課金です。</p> <ul class="wp-block-list"> <li><p><strong>スケーリング</strong>: サーバーレスSQLはクエリ負荷に応じて自動スケールし、アイドル時は即座に停止します（デフォルト10分→サーバーレスではさらに短縮設定が可能）。</p></li> <li><p><strong>DBUの選択</strong>: サーバーレスは通常のクラスターよりDBU単価が高い傾向にありますが、VMのアイドル料金が発生しないため、断続的なワークロードではTCO（総保有コスト）が削減されます。</p></li> <li><p><strong>可観測性</strong>: System Tables (<code>system.billing.usage</code>) をクエリすることで、どのユーザー・ジョブがサーバーレスリソースを消費したかを詳細に追跡可能です。</p></li> </ul> <h2 class="wp-block-heading">【まとめ】</h2> <p>導入にあたっての要点は以下の通りです。</p> <ol class="wp-block-list"> <li><p><strong>Unity Catalogの必須化</strong>: サーバーレスリソースの多くはUnity Catalog配下のデータのみをサポートするため、既存のHive Metastoreからの移行計画が必要です。</p></li> <li><p><strong>リージョン制限の確認</strong>: サーバーレス計算リソースは順次展開中のため、利用するリージョン（Japan East等）でサポートされているか最新の公式ドキュメントを確認してください。</p></li> <li><p><strong>ネットワーク設計の転換</strong>: 「VNet Injection」によるインフラ保護から、Private LinkとNCCを利用した「サービス間通信の保護」へとパラダイムをシフトさせる必要があります。</p></li> </ol>

graph TD
    subgraph "Azure Customer Tenant"
        A["User/Data Scientist"] -->|HTTPS/OAuth| B["Databricks Workspace"]
        B -->|Unity Catalog| C["(ADLS Gen2 / Storage)"]
    end

    subgraph "Databricks Managed Service"
        D["Serverless SQL Warehouse"]
        E["Serverless Notebooks/Workflows"]
    end

    B --- D
    B --- E
    D -->|Private Link/Service Endpoint| C
    E -->|Private Link/Service Endpoint| C

    style D fill:#f96,stroke:#333,stroke-width:2px
    style E fill:#f96,stroke:#333,stroke-width:2px

# 変数定義

RG_NAME="rg-databricks-serverless"
LOCATION="japaneast"
WS_NAME="dbw-serverless-prod"

# ワークスペース作成 (Premium SKUが必要)

az databricks workspace create \
    --resource-group $RG_NAME \
    --name $WS_NAME \
    --location $LOCATION \
    --sku premium

resource "azurerm_databricks_workspace" "example" {
  name                = "dbw-serverless-ops"
  resource_group_name = azurerm_resource_group.example.name
  location            = azurerm_resource_group.example.location
  sku                 = "premium"

  # サーバーレスを有効化するためのネットワーク構成（オプション）

  public_network_access_enabled = true 
}

# SQL Warehouse (Serverless) の定義

resource "databricks_sql_endpoint" "serverless" {
  name             = "Serverless-Warehouse"
  cluster_size     = "X-Small"
  max_num_clusters = 1
  enable_serverless_compute = true # サーバーレスの指定
}