構成：シニア・クラウドアーキテクトによる実務的・網羅的な設計ガイド
文体：専門的かつ簡潔、事実に基づいた断定的なトーン（例：～を推奨する、～が必須である）
視覚要素：Mermaidによる論理構成図と、実戦的なコードスニペットの提供
語彙：Microsoft Entra ID、Unity Catalog、Serverless Computeなど最新用語を正確に使用
本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。
Azure Databricks サーバーレス計算資源の導入・設計ガイド
【導入】
従来の仮想ネットワーク（VNet）管理やクラスター起動待ちのオーバーヘッドを排除し、データ分析の俊敏性とコスト効率を極大化する設計指針。
【アーキテクチャ設計】
Azure Databricks サーバーレスは、コンピューティング資源の管理を Databricks 側の Azure サブスクリプションに委譲するモデルである。これにより、ユーザーサブスクリプション内での VNet 管理や、クォータ制限の懸念から解放される。
主要な構成要素は以下の通り：
管理プレーン: ワークスペース管理、認証、メタデータ。
サーバーレス計算プレーン: Databricks が管理する計算資源（SQL Warehouse, Notebook, Workflows）。
Unity Catalog: ガバナンスとデータアクセス制御の核。
graph TD
subgraph "Customer Tenant"
A[User/Developer] -->|Access| B["Azure Databricks Workspace"]
B -->|Identity| C["Microsoft Entra ID"]
B -->|Storage Access| D["Azure Data Lake Storage Gen2"]
end
subgraph "Databricks Managed"
E["Serverless Compute Plane"] -->|Secure Access| D
B -->|Command Execution| E
end
subgraph "Data Governance"
F["Unity Catalog"] --- B
F --- E
end
【実装・デプロイ手順】
サーバーレス機能を有効化したワークスペースのデプロイは、Terraform を使用して以下のように構成する。サーバーレスを利用する場合、Unity Catalog の有効化が強く推奨（事実上の必須条件）される。
# Azure Databricks Workspace の作成
resource "azurerm_databricks_workspace" "this" {
name = "adb-serverless-prod-001"
resource_group_name = azurerm_resource_group.this.name
location = azurerm_resource_group.this.location
sku = "premium" # サーバーレスにはPremium必須
tags = {
Environment = "Production"
}
}
# Serverless SQL Warehouse の作成例
resource "databricks_sql_endpoint" "serverless" {
name = "Serverless-Warehouse"
cluster_size = "X-Small"
max_num_clusters = 5
enable_serverless_compute = true # サーバーレスの有効化
auto_stop_mins = 10 # サーバーレスは即時起動するため短縮可能
}
【アイデンティティとセキュリティ】
サーバーレス環境におけるセキュリティ境界は、ネットワーク（VNet）からアイデンティティ（IAM）へとシフトする。
認証と認可:
Microsoft Entra ID との完全統合。SCIM を使用したユーザー同期。
Unity Catalog によるきめ細やかなアクセス制御（テーブル、ビュー、ファイルレベル）。
ネットワークセキュリティ:
- サーバーレス接続方式: Databricks 管理プレーンからデータソースへのアクセスには、Azure Private Link を介した「サーバーレス・プライベート・コネクティビティ」を使用し、パブリックインターネットを経由しない設計とする。
データ保護:
マネージド・ストレージの暗号化。
ワークスペース通信の TLS 1.2 以上への強制。
【運用・コスト最適化】
サーバーレスの最大の利点は、リソースのアイドル時間を排除できる点にある。
可観測性:
System Tables (billing.usage) をクエリし、サーバーレス計算資源の消費量を SKU（Serverless SQL 等）ごとに可視化する。
Azure Monitor/Log Analytics への診断設定によるログ集約。
コスト最適化:
オートストップ設定: サーバーレスは起動が高速（数秒）なため、アイドル時間を最小（例：10分）に設定し、課金を即座に停止させる。
サーバーレス SQL 共有: 複数のダッシュボードで共有し、クラスターの集約率を高める。
【まとめ】
導入にあたっての最重要ポイント：
Unity Catalog の導入: サーバーレス計算資源の利点をフルに活用（ガバナンス強化）するための前提条件。
ネットワーク要件の再考: 従来の VNet インジェクションが不要になる反面、データソースへの接続に Private Link の再設計が必要になる可能性がある。
リージョン制約: サーバーレス機能は順次展開中のため、対象リージョン（Japan East/West等）で SQL/Notebook/Workflows の各サーバーレス機能が提供されているか、最新のリリースノートを確認すること。
