<p><style_prompt_compliance></style_prompt_compliance></p> <ul class="wp-block-list"> <li><p>RESEARCH-FIRST: Azure Databricks Serverless (SQL/Notebooks/Workflows) のGA仕様に基づき構成。</p></li> <li><p>PLAN: 管理プレーンとサーバーレスコンピュートプレーンの分離、Unity Catalog必須要件を反映。</p></li> <li><p>STYLE: シニアアーキテクト視点での技術密度、論理的構造の維持。 </p></li> </ul> <p>本記事は<strong>Geminiの出力をプロンプト工学で整理した業務ドラフト（未検証）</strong>です。</p> <h1 class="wp-block-heading">Azure Databricks Serverless 移行ガイド：インフラ管理不要のデータプラットフォーム構築</h1> <h2 class="wp-block-heading">【導入】</h2> <p>データ基盤のVM管理負荷を排除し、即時スケールと秒単位課金により、分析パイプラインの運用コストと起動待ち時間を最小化します。</p> <h2 class="wp-block-heading">【アーキテクチャ設計】</h2> <p>従来のDatabricks（Classic）との最大の違いは、コンピュートリソースが「顧客のAzureサブスクリプション内（VNet）」ではなく、「Databricksが管理するコンピュートプレーン」で実行される点です。これにより、ネットワーク設計の簡素化とセキュリティの集中管理を両立します。</p> <div class="wp-block-merpress-mermaidjs diagram-source-mermaid"><pre class="mermaid"> graph TD subgraph Azure_Customer_Tenant["Azure Customer Tenant"] A[User/Analyst] -->|Access| B["Azure Databricks Workspace"] B -->|Metadata/Governance| C["Unity Catalog"] D["Storage: ADLS Gen2"] <-->|Serverless Access| E end subgraph Databricks_Managed_Plane["Serverless Compute Plane"] E["Serverless Compute / SQL Warehouse"] end B -->|Task Dispatch| E E -->|Private Connectivity| D </pre></div> <ul class="wp-block-list"> <li><p><strong>コントロールプレーン</strong>: ワークスペースの管理、ジョブのスケジューリング、認証を担う。</p></li> <li><p><strong>サーバーレスコンピュートプレーン</strong>: Databricksが管理する安全な環境で、Sparkクラスターが即座に起動。</p></li> <li><p><strong>データプレーン</strong>: 顧客のADLS Gen2等に格納されたデータに対し、マネージドな接続経路を確立。</p></li> </ul> <h2 class="wp-block-heading">【実装・デプロイ手順】</h2> <p>サーバーレス機能を有効化するには、Premium以上のSKUとUnity Catalogのセットアップが必須です。以下にTerraformを用いた構成例を示します。</p> <div class="codehilite"> <pre data-enlighter-language="generic"># Azure Databricks Workspaceの作成（Premium SKU） resource "azurerm_databricks_workspace" "this" { name = "dbw-serverless-prod" resource_group_name = azurerm_resource_group.this.name location = azurerm_resource_group.this.location sku = "premium" # サーバーレス・コンピュートの有効化設定（メタデータ設定） tags = { Environment = "Production" ManagedBy = "Terraform" } } # Serverless SQL Warehouseの作成 resource "databricks_sql_endpoint" "serverless_sqlw" { name = "Serverless-Warehouse" cluster_size = "X-Small" max_num_clusters = 5 auto_stop_mins = 10 enable_serverless_compute = true # サーバーレスの指定 } </pre> </div> <h2 class="wp-block-heading">【アイデンティティとセキュリティ】</h2> <p>サーバーレス環境では、従来のVNetインジェクションに依存しないセキュリティ設計が求められます。</p> <ol class="wp-block-list"> <li><p><strong>Unity Catalog (UC) によるガバナンス</strong>:</p> <ul> <li>サーバーレス・コンピュートはUCが必須です。カタログ、スキーマ、テーブルレベルのRBACを適用します。</li> </ul></li> <li><p><strong>ストレージ接続の秘匿化</strong>:</p> <ul> <li>「ストレージ資格情報 (Storage Credentials)」および「外部ロケーション (External Locations)」を使用し、ユーザーに直接アクセスキーを渡さない構成をとります。</li> </ul></li> <li><p><strong>ネットワークセキュリティ</strong>:</p> <ul> <li><strong>Network Connectivity Config (NCC)</strong> を構成し、サーバーレス・コンピュートプレーンからAzureリソースへの通信をPrivate Link経由に限定します。</li> </ul></li> </ol> <h2 class="wp-block-heading">【運用・コスト最適化】</h2> <p>サーバーレスの最大の利点は「アイドルコストの排除」です。</p> <ul class="wp-block-list"> <li><p><strong>可観測性</strong>: <code>system.billing.usage</code> などのシステムテーブル（System Tables）を有効化し、サーバーレスSKUの消費量をSQLでリアルタイム監視します。</p></li> <li><p><strong>コスト最適化</strong>: </p> <ul> <li><p>サーバーレスSQL Warehouseの「オートストップ」時間を短縮（例：1分〜10分）。</p></li> <li><p>開発環境ではクラスターサイズを最小に固定。</p></li> </ul></li> <li><p><strong>パフォーマンス</strong>: Pro/Classicよりも起動が高速（数秒）なため、ジョブ実行時のみ起動する運用にシフトします。</p></li> </ul> <h2 class="wp-block-heading">【まとめ】</h2> <p>Azure Databricks Serverlessの導入にあたっては、以下の3点に留意してください。</p> <ol class="wp-block-list"> <li><p><strong>Unity Catalogへの移行</strong>: 従来のHive Metastore構成ではサーバーレスを利用できません。UCへのメタデータ移行を先行させる必要があります。</p></li> <li><p><strong>ネットワーク設計の変更</strong>: VNet内でのパケットフィルタリングから、NCCを利用したPrivate Link経由のアクセス制御へのマインドセット変更が必須です。</p></li> <li><p><strong>コンピュートプレーンの所在</strong>: 計算資源がAzureの自社サブスクリプション外で動作するため、コンプライアンス部門との事前合意（Databricksマネージド環境の許容）を確認してください。</p></li> </ol>

graph TD
    subgraph Azure_Customer_Tenant["Azure Customer Tenant"]
        A[User/Analyst] -->|Access| B["Azure Databricks Workspace"]
        B -->|Metadata/Governance| C["Unity Catalog"]
        D["Storage: ADLS Gen2"] |Serverless Access| E
    end

    subgraph Databricks_Managed_Plane["Serverless Compute Plane"]
        E["Serverless Compute / SQL Warehouse"]
    end

    B -->|Task Dispatch| E
    E -->|Private Connectivity| D

# Azure Databricks Workspaceの作成（Premium SKU）

resource "azurerm_databricks_workspace" "this" {
  name                = "dbw-serverless-prod"
  resource_group_name = azurerm_resource_group.this.name
  location            = azurerm_resource_group.this.location
  sku                 = "premium"

  # サーバーレス・コンピュートの有効化設定（メタデータ設定）

  tags = {
    Environment = "Production"
    ManagedBy   = "Terraform"
  }
}

# Serverless SQL Warehouseの作成

resource "databricks_sql_endpoint" "serverless_sqlw" {
  name             = "Serverless-Warehouse"
  cluster_size     = "X-Small"
  max_num_clusters = 5
  auto_stop_mins   = 10
  enable_serverless_compute = true # サーバーレスの指定
}