<p><style_prompt></style_prompt></p> <ul class="wp-block-list"> <li><p>専門用語を除き、助詞以外は極力漢字とカタカナをバランスよく配置。</p></li> <li><p>「～です」「～ます」調で統一しつつ、技術解説は断定的に。</p></li> <li><p>コードブロックには適切な言語タグを付与。</p></li> <li><p>セキュリティとコスト最適化の観点を必ず含める。 本記事は<strong>Geminiの出力をプロンプト工学で整理した業務ドラフト（未検証）</strong>です。</p></li> </ul> <h1 class="wp-block-heading">Azure Databricks サーバーレス：インフラ管理不要の次世代データ基盤構築</h1> <p>【導入】 従来のクラスター管理やVNet設計の複雑さを排除し、即時起動とコスト効率を両立するサーバーレスなデータ分析基盤の設計・実装を解説します。</p> <p>【アーキテクチャ設計】 Azure Databricks サーバーレスでは、コンピューティングリソースがDatabricks管理下の「サーバーレスプレーン」で実行されます。これにより、ユーザー企業のサブスクリプション内に仮想マシン（EC2/VM）をデプロイする必要がなくなり、起動時間の短縮と運用負荷の激減を実現します。</p> <div class="wp-block-merpress-mermaidjs diagram-source-mermaid"><pre class="mermaid"> graph TD subgraph "Customer Azure Subscription" A["User/Data Analyst"] -->|HTTPS/OAuth| B["Databricks Workspace"] D["Azure Storage/ADLS Gen2"] end subgraph "Databricks Service Plane (Serverless)" B --> C["Serverless Compute"] C -->|Private Link/NCC| D end subgraph "Identity & Security" E["Microsoft Entra ID"] -.->|SSO/RBAC| B F["Unity Catalog"] -.->|Data Governance| C end </pre></div> <p>この構成では、<strong>Network Connectivity Config (NCC)</strong> を使用して、サーバーレスプレーンから自社サブスクリプション内のストレージへPrivate Link経由で安全に接続します。</p> <p>【実装・デプロイ手順】 サーバーレスを有効化したワークスペースをBicepで定義する例です。サーバーレスSQLウェアハウスなどの利用には、Unity Catalogの有効化が前提となります。</p> <pre data-enlighter-language="generic">// Azure Databricks Workspace with Serverless enabled resource databricksWorkspace 'Microsoft.Databricks/workspaces@2024-05-01' = { name: 'dbx-serverless-prod-001' location: resourceGroup().location sku: { name: 'premium' // サーバーレスにはPremium SKUが必須 } properties: { managedResourceGroupId: subscriptionResourceId('Microsoft.Resources/resourceGroups', 'rg-dbx-managed') publicNetworkAccess: 'Enabled' // NCCによるPrivate Link構成を推奨 parameters: { enableNoPublicIp: { value: true } } } } </pre> <p>デプロイ後、Databricks管理コンソールまたはAPIを使用して、SQLウェアハウスの「サーバーレス」オプションを有効にします。</p> <p>【アイデンティティとセキュリティ】</p> <ol class="wp-block-list"> <li><p><strong>Unity Catalogの必須化</strong>: サーバーレス環境では、きめ細やかなアクセス制御を実現するためにUnity Catalogによるデータガバナンスが不可欠です。</p></li> <li><p><strong>ネットワーク分離</strong>: サーバーレスプレーンからの外向き通信は、Network Connectivity Config (NCC) を設定し、Azureリソースへの接続をPrivate Endpointに限定します。</p></li> <li><p><strong>条件付きアクセス</strong>: Microsoft Entra ID（旧Azure AD）の条件付きアクセスポリシーを適用し、信頼されたデバイスや場所からのアクセスのみを許可します。</p></li> </ol> <p>【運用・コスト最適化】</p> <ol class="wp-block-list"> <li><p><strong>DBU（Databricks Unit）消費の最適化</strong>: サーバーレスは秒単位の課金であり、アイドル時のコストが発生しません。ウェアハウスの自動停止時間を最短（1分等）に設定することでコストを最小化できます。</p></li> <li><p><strong>可観測性</strong>: <code>system.billing.usage</code> などのシステムテーブルをクエリすることで、どのユーザーやジョブがどれだけのサーバーレスリソースを消費したかを詳細に可視化できます。</p></li> <li><p><strong>スケーラビリティ</strong>: 負荷に応じて自動で水平スケーリングが行われるため、手動のサイジング設計が不要になります。</p></li> </ol> <p>【まとめ】</p> <ul class="wp-block-list"> <li><p><strong>インフラ運用の撤廃</strong>: VMの起動待ちや管理、VNetのIP枯渇問題から解放される。</p></li> <li><p><strong>セキュリティの再設計</strong>: NCCとUnity Catalogを組み合わせた、新しいネットワーク境界設計が必須となる。</p></li> <li><p><strong>コストの透明化</strong>: 使用した分だけの支払いに移行するため、システムテーブルを活用した継続的なモニタリングが導入成功の鍵となる。</p></li> </ul>

graph TD
    subgraph "Customer Azure Subscription"
        A["User/Data Analyst"] -->|HTTPS/OAuth| B["Databricks Workspace"]
        D["Azure Storage/ADLS Gen2"]
    end

    subgraph "Databricks Service Plane (Serverless)"
        B --> C["Serverless Compute"]
        C -->|Private Link/NCC| D
    end

    subgraph "Identity & Security"
        E["Microsoft Entra ID"] -.->|SSO/RBAC| B
        F["Unity Catalog"] -.->|Data Governance| C
    end

// Azure Databricks Workspace with Serverless enabled
resource databricksWorkspace 'Microsoft.Databricks/workspaces@2024-05-01' = {
  name: 'dbx-serverless-prod-001'
  location: resourceGroup().location
  sku: {
    name: 'premium' // サーバーレスにはPremium SKUが必須
  }
  properties: {
    managedResourceGroupId: subscriptionResourceId('Microsoft.Resources/resourceGroups', 'rg-dbx-managed')
    publicNetworkAccess: 'Enabled' // NCCによるPrivate Link構成を推奨
    parameters: {
      enableNoPublicIp: {
        value: true
      }
    }
  }
}