[Context: Senior Cloud Architect] [Scope: Azure Databricks Serverless Workspace Architecture] [Style: Professional, Technical, Implementation-oriented] [Key_Components: Serverless Compute, Unity Catalog, Entra ID, Terraform] [Compliance: Azure Well-Architected Framework]
本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。
Azure Databricks サーバーレス計算資源による次世代データ分析プラットフォームの構築
【導入】
仮想ネットワーク管理のオーバーヘッドを解消し、迅速なスケールと従量課金による最適化を両立するデータ基盤を実現します。
【アーキテクチャ設計】
従来のDatabricks（Classic）では、お客様のAzureサブスクリプション内のVNet上にVMをデプロイしていましたが、サーバーレス構成では、コンピューティングリソースがDatabricks管理下のサブスクリプションで実行されます。これにより、インスタンスの起動時間が数秒に短縮され、パッチ適用やスケーリングの管理が自動化されます。
graph TD
subgraph "Customer Azure Subscription"
ADB_W["Azure Databricks Workspace"]
ADLS["Azure Data Lake Storage Gen2"]
UC_MET["Unity Catalog Metastore"]
end
subgraph "Databricks Managed VPC (Serverless)"
SC["Serverless Compute Plane"]
SQL_W["Serverless SQL Warehouses"]
end
User["Data Engineer / Analyst"] -->|HTTPS/RBAC| ADB_W
ADB_W -->|API/Instructions| SC
SC -->|Managed Private Path| ADLS
SC -.->|Metadata Access| UC_MET
ADB_W -->|Auth| Entra["Microsoft Entra ID"]
【実装・デプロイ手順】
サーバーレス機能を有効にしたAzure Databricksワークスペースのデプロイには、Terraformの使用を推奨します。サーバーレスコンピューティングを利用するには、Unity Catalogの有効化が必須条件となります。
# Terraform: Azure Databricks Workspace (Premium Tier)
resource "azurerm_databricks_workspace" "this" {
name = "adb-serverless-prod"
resource_group_name = azurerm_resource_group.this.name
location = azurerm_resource_group.this.location
sku = "premium" # サーバーレスにはPremiumが必須
tags = {
Environment = "Production"
}
}
# サーバーレスSQLウェアハウスの定義例
resource "databricks_sql_endpoint" "serverless" {
name = "Serverless-Warehouse"
cluster_size = "X-Small"
max_num_clusters = 5
auto_stop_mins = 10
enable_serverless_compute = true # サーバーレスの有効化
}
【アイデンティティとセキュリティ】
サーバーレス環境におけるセキュリティ境界は、ネットワーク（VNet）からアイデンティティ（Unity Catalog）へとシフトします。
Unity Catalog (UC) による統制:
全てのサーバーレスアクセスはUC経由で行われます。
ストレージへのアクセスは、ユーザー個人ではなく「Access Connector for Azure Databricks」に付与したManaged Identity経由で認可されます。
Microsoft Entra ID 連携:
- SCIM（System for Cross-domain Identity Management）を使用して、ユーザーとグループを自動同期します。
ネットワークセキュリティ:
- Network Connectivity Config (NCC) を使用して、サーバーレスプレーンからお客様のストレージアカウントへのプライベートアクセスを確保します。
【運用・コスト最適化】
サーバーレスは「使った分だけ」の支払いを徹底できるため、アイドルコストの削減に直結します。
可観測性: Azure MonitorおよびDatabricksの「System Tables」を利用し、クエリレベルの課金データを分析します。これにより、高コストなクエリを特定し最適化が可能です。
コスト削減:
サーバーレスSQL: 起動が高速なため、
auto_stop_minsを10分以下に設定しても利便性を損なわずにコストを抑制できます。スポットインスタンス不要: インフラ管理が不要なため、運用の人的工数（Ops Cost）が大幅に削減されます。
【まとめ】
Azure Databricksサーバーレスの導入にあたっては、以下の3点に留意してください。
Unity Catalogの必須化: サーバーレス計算資源を利用するにはUCへの移行が前提となるため、既存ワークスペースの場合はカタログ設計の刷新が必要です。
リージョン制約の確認: Serverless Compute（Notebooks/Workflows用）は順次展開中のため、対象リージョンでGA（一般提供）されているか事前に確認してください。
ネットワーク設計の変更: VNetインジェクション方式とは異なり、サーバーレスプレーンからのアウトバウンド通信をNCCで制御する新しい設計手法を理解する必要があります。
