本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。
Azure Databricks サーバーレス・ワークスペース：インフラ管理不要のデータ分析基盤設計
【導入】
サーバーレス化により、複雑なVNET設計やVM管理のオーバーヘッドを排除し、データ分析の価値提供を劇的に加速させます。
【アーキテクチャ設計】
サーバーレス・コンピューティングでは、計算リソース（VM）がDatabricks管理のAzureサブスクリプション内で実行されます。ユーザー側はコンピューティングの起動待ち時間を気にすることなく、SQLウェアハウスやノートブック（プレビュー含む）を実行可能です。
graph TD
subgraph "Customer Tenant"
A["User / Data Scientist"] -->|Auth: Entra ID| B["Databricks Workspace"]
B -->|Storage Access| C["ADLS Gen2 / Unity Catalog"]
end
subgraph "Databricks Managed Plane (Serverless)"
B -->|Compute Request| D["Serverless Compute"]
D -->|Secure Connector| C
end
subgraph "Security Boundary"
E["Network Connectivity Config"] --- D
E --- C
end
構成の解説：
コントロールプレーン: ユーザー管理のAzureサブスクリプション。メタデータ、ジョブ定義、ノートブックを保持。
サーバーレス・コンピューティングプレーン: Databricksが管理する計算リソース群。ユーザーサブスクリプション内にVMは現れず、DBU消費のみで課金。
ネットワーク: Network Connectivity Config (NCC) を使用し、Databricks管理プレーンからユーザーのストレージへプライベート接続を確立。
【実装・デプロイ手順】
サーバーレス・ワークスペースの有効化には、Unity Catalogの構成が必須条件となります。以下はTerraformを用いたワークスペース構成の抜粋です。
# Azure Databricks ワークスペースの作成
resource "azurerm_databricks_workspace" "this" {
name = "dbw-serverless-prod"
resource_group_name = azurerm_resource_group.this.name
location = azurerm_resource_group.this.location
sku = "premium" # サーバーレスはPremium必須
tags = {
Environment = "Production"
ManagedBy = "Terraform"
}
}
# SQL Serverless ウェアハウスの作成
resource "databricks_sql_endpoint" "serverless" {
name = "Serverless-Warehouse"
cluster_size = "X-Small"
max_num_clusters = 5
auto_stop_mins = 10 # サーバーレスは即時停止に近いが設定可能
enable_serverless_compute = true
}
【アイデンティティとセキュリティ】
サーバーレス環境におけるセキュリティ境界は、従来のVNETインジェクションからUnity CatalogとNCCによる論理・ネットワーク制御へ移行します。
Unity Catalogによるガバナンス:
全てのサーバーレス計算リソースはUnity Catalogを介してデータにアクセスします。
ストレージ資格情報のパススルーではなく、Managed Identityを使用したサービスレベルのアクセス権限を推奨。
Network Connectivity Config (NCC):
- サーバーレス計算リソースからAzureリソース（ADLS Gen2等）への通信をプライベートエンドポイント経由に制限します。
条件付きアクセス:
- Microsoft Entra IDにより、信頼されたデバイスまたは特定のIP範囲からのワークスペースアクセスのみを許可。
【運用・コスト最適化】
DBUコストの透明化:
サーバーレスは従来のクラスターよりも単価（DBU）が高い一方、仮想マシンの稼働コスト（VM Fee）が発生しません。
短時間のバッチ処理や、頻繁な起動・停止が発生するアドホック分析では30-50%の総コスト削減が見込めます。
オブザーバビリティ:
- Azure MonitorおよびDatabricksの「System Tables」を利用し、クエリレベルのコスト消費を可視化します。
SKU選択:
- サーバーレス機能は「Premium」価格レベルでのみ利用可能です。Standardからのアップグレードが必要な場合はコスト試算を先行させてください。
【まとめ】
導入にあたっての要点と「落とし穴」：
Unity Catalog必須: サーバーレスはUnity Catalog非対応のワークスペースでは利用できません。既存環境の移行計画が必要です。
リージョン制限: サーバーレス機能は特定のAzureリージョンから順次展開されています。デプロイ前に公式の可用性マトリクスを確認してください。
ネットワークの再設計: VNETインジェクションによるガバナンスに依存していた組織は、NCC（Network Connectivity Config）による新しいネットワークセキュリティモデルへの理解と移行が不可欠です。
