Azure Monitor Log Analyticsコスト最適化実践ガイド

Tech

本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。

Azure Monitor Log Analyticsコスト最適化実践ガイド

Azure Monitor Log Analyticsは、Azureおよびオンプレミス環境からのログデータ収集・分析に不可欠なサービスです。しかし、データの取り込み量と保持期間に応じてコストが発生するため、適切な管理と最適化が重要となります。本ガイドでは、Log Analyticsのコストを最適化するためのアーキテクチャ、設定、運用監視、セキュリティ、そして潜在的な落とし穴について解説します。

1. アーキテクチャ

Azure Monitor Log Analyticsのコスト最適化は、ログデータのライフサイクル全体を考慮したアーキテクチャ設計から始まります。データソースからLog Analyticsワークスペースへの取り込み、その後の保持、分析、そして必要に応じたエクスポートまで、各段階でコスト削減の機会が存在します。

主要なアーキテクチャ要素は以下の通りです。

  • データソース: Azureリソース（VM、App Serviceなど）、オンプレミスサーバー、カスタムアプリケーションなど。

  • データ収集: Azure Monitorエージェント、診断設定、データ収集ルール（DCR）を介してログがLog Analyticsに送信されます。

  • Log Analyticsワークスペース: 収集されたログデータを格納・分析する中心的なリポジトリ。

  • データ保持: ワークスペース全体またはテーブル単位でデータ保持期間を設定できます。

  • データエクスポート: 長期保持や他のシステム連携のため、Log AnalyticsからAzure StorageやEvent Hubsへデータをエクスポートできます。

コスト最適化の視点から見たデータフロー

Log Analyticsにおけるコスト最適化の鍵は、不必要なデータをワークスペースに取り込まず、必要なデータのみを適切な期間保持することです。

graph TD
    A["データソース"]|ログ生成| --> B("エージェント/Diagnostic Settings")
    B --> C{"データ収集ルール (DCR)"}
    C --|フィルタリング & 変換| --> D["Log Analytics ワークスペース"]
    D --|短期間保持 (例: 30日)| --> E["分析 & アラート"]
    D --|中長期保持 (例: 90日+)| --> F["アーカイブ層 (Basic Logs)"]
    D --|継続的エクスポート| --> G["Azure Storage Account/Event Hubs"]
    H["容量予約"]|適用| --> D
    I["Azure Policy"]|ガバナンス| --> D
    J["Entra ID/RBAC"]|アクセス制御| --> D
    K["Private Link"]|ネットワーク分離| --> D

    subgraph コスト最適化の重点ポイント
        C --- C_cost("取り込みデータ量の削減")
        H --- H_cost("取り込みコスト割引")
        F --- F_cost("保持コスト削減")
        G --- G_cost("外部での長期保持")
    end

図1: Log Analyticsデータフローとコスト最適化ポイント

2. 設定手順

ここでは、主要なコスト最適化機能であるデータ収集ルール (DCR)、テーブルごとの保持期間、容量予約の設定方法を解説します。

2.1 データ収集ルール (DCR) の適用

DCRは、Log Analyticsに取り込まれる前にログデータをフィルタリング、変換、または除外するために使用されます。これにより、取り込みデータ量を削減し、コストを抑制できます。DCRはAzure CLIまたはPowerShellを使用して適用できます。

以下のPowerShellスクリプトは、特定のデータソースから特定のログタイプを除外するDCRを定義する例です。

# 前提: Az.Monitor PowerShellモジュールがインストールされていること。


# Connect-AzAccountでAzureにログイン済みであること。

# DCRの作成 (JSONは別途定義し、ファイルとして保存)


# 例: dcr.jsonの内容 (SystemEventログから特定のイベントを除外する部分的な定義)


# {


#   "properties": {


#     "dataSources": [


#       {


#         "kind": "WindowsEventLogs",


#         "streams": [ "Microsoft-WindowsEvent" ],


#         "logName": "System",


#         "eventLevels": [ "Error", "Warning", "Informational", "Critical", "Verbose" ]


#       }


#     ],


#     "destinations": {


#       "logAnalytics": [


#         {


#           "workspaceResourceId": "/subscriptions/<subscriptionId>/resourceGroups/my-log-analytics-rg/providers/Microsoft.OperationalInsights/workspaces/my-log-analytics-workspace",


#           "name": "la-workspace"


#         }


#       ]


#     },


#     "dataFlows": [


#       {


#         "streams": [ "Microsoft-WindowsEvent" ],


#         "destinations": [ "la-workspace" ],


#         "transformKql": "where EventID != 7036" # 例: イベントID 7036 (サービス開始/停止) を除外


#       }


#     ]


#   },


#   "location": "japaneast" # DCRをデプロイするリージョン


# }

$resourceGroupName = "my-log-analytics-rg"
$dcrName = "my-custom-dcr"
$dcrJsonFilePath = "dcr.json" # 作成したDCRのJSONファイルパス

# DCRを作成 (Azure CLIの例)


# az monitor data-collection rule create `


#   --resource-group $resourceGroupName `


#   --name $dcrName `


#   --rule-file $dcrJsonFilePath

# DCRを作成 (PowerShellの例 - New-AzDataCollectionRuleはAzure CLIの`az monitor data-collection rule create`と同等の機能)


# New-AzDataCollectionRule -ResourceGroupName $resourceGroupName -Name $dcrName -RuleFile $dcrJsonFilePath

# エージェントにDCRを関連付ける例 (Azure CLI)


# DCRをVMなどのリソースに関連付けて初めて機能します。


# az monitor data-collection rule association create `


#   --resource-group $resourceGroupName `


#   --rule-name $dcrName `


#   --target-resource "/subscriptions/<subscriptionId>/resourceGroups/<vmResourceGroup>/providers/Microsoft.Compute/virtualMachines/<vmName>" `


#   --name "association-vm-dcr"

注意: DCRのJSON定義は複雑なため、[Microsoft Learnの公式ドキュメント][4]を参照して詳細を構築してください。

2.2 テーブルごとのデータ保持期間設定

ワークスペース全体の保持期間とは別に、特定のテーブルに対して個別の保持期間を設定できます。これにより、コンプライアンス要件の高いログは長く、すぐに分析が不要なログは短く保持するなど、柔軟なコスト最適化が可能です。アーカイブ層（Basic Logs）への移動も設定できます。

以下のPowerShellスクリプトは、Heartbeat テーブルのデータ保持期間を30日間に設定し、アーカイブ期間を90日間に設定する例です。

# 前提: Az.OperationalInsights PowerShellモジュールがインストールされていること。


# Connect-AzAccountでAzureにログイン済みであること。

# テーブルごとの保持期間設定

$resourceGroupName = "my-log-analytics-rg"
$workspaceName = "my-log-analytics-workspace"
$tableName = "Heartbeat" # 設定したいテーブル名

# テーブルの更新（データ保持期間30日、アーカイブ期間90日）


# RetentionInDays: Analytics Logsとしての保持期間


# TotalRetentionInDays: Analytics Logsとしての保持期間 + Basic Logsとしてのアーカイブ期間の合計

Set-AzOperationalInsightsTable -ResourceGroupName $resourceGroupName -WorkspaceName $workspaceName -Name $tableName -RetentionInDays 30 -TotalRetentionInDays 90

# 例: RetentionInDays=30, TotalRetentionInDays=90 の場合、


# 最初の30日間はAnalytics Logsとして保持され、その後60日間はBasic Logsとしてアーカイブされます。

Write-Host "テーブル '$tableName' の保持期間を $workspaceName ワークスペースで設定しました。"

参考: 保持期間とアーカイブについては、[Microsoft Learnの公式ドキュメント][3]を参照してください。

2.3 容量予約の有効化

1日あたり200GB以上のデータを取り込む大規模な環境では、Log Analytics容量予約を利用することで、従量課金よりもコストを削減できる可能性があります。容量予約は200GB/日から選択可能で、コミットされた取り込み量に対して割引が適用されます[5]。

以下のPowerShellスクリプトは、Log Analyticsワークスペースに容量予約を適用する例です。

# 前提: Az.OperationalInsights PowerShellモジュールがインストールされていること。


# Connect-AzAccountでAzureにログイン済みであること。

# 容量予約の設定

$resourceGroupName = "my-log-analytics-rg"
$workspaceName = "my-log-analytics-workspace"
$capacityReservationGB = 200 # 200GB/日から選択可能な容量。例: 200, 300, 400, 500, 1000, 2000, 5000GB

# Log Analytics ワークスペースの更新


# SkuNameを"CapacityReservation"に設定し、DailyQuotaGbで予約する容量を指定します。

Set-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroupName -Name $workspaceName -SkuName "CapacityReservation" -DailyQuotaGb $capacityReservationGB

Write-Host "$workspaceName ワークスペースに ${capacityReservationGB}GB/日の容量予約を適用しました。"

注意: DailyQuotaGbはワークスペースが消費できる1日あたりの最大データ量ではありません。容量予約の購入量を指定するものです。

3. 運用監視

コストを継続的に最適化するためには、Log Analyticsの利用状況を定期的に監視することが重要です。

3.1 コスト監視クエリ

Log Analyticsワークスペースの取り込みデータ量は、_LogAnalyticsWorkspace テーブルをクエリすることで確認できます。これにより、どのテーブルが最もデータを消費しているかを特定し、DCR適用や保持期間の見直しに役立てられます。

// 過去7日間の日次データ取り込み量 (GB)
_LogAnalyticsWorkspace
| where TimeGenerated > ago(7d)
| summarize DataIngestionGB = sum(DataInGB) by bin(TimeGenerated, 1d)
| render timechart title="過去7日間の日次データ取り込み量 (GB)"

テーブルごとの取り込み量を把握するクエリ:

// 過去7日間のソリューション別データ取り込み量 (GB)
// 'Solution'はLog Analyticsにデータを取り込むサービスやカテゴリを示します。
_LogAnalyticsWorkspace
| where TimeGenerated > ago(7d)
| summarize IngestedGB = sum(DataInGB) by Solution
| order by IngestedGB desc
| render barchart title="過去7日間のソリューション別データ取り込み量 (GB)"

さらに詳細にテーブルごとの取り込み量を把握するには、Usage テーブルを使用します。

// 過去7日間のテーブル別課金対象データ取り込み量 (GB)
Usage
| where IsBillable == true // 課金対象データのみをフィルタリング
| where TimeGenerated > ago(7d)
| summarize BillableDataGB = sum(Quantity) / 1000 by DataType
| order by BillableDataGB desc
| render barchart title="過去7日間のテーブル別課金対象データ取り込み量 (GB)"

3.2 アラート設定

Log Analyticsの取り込み量が予期せず増加した場合に通知を受け取れるよう、アラートを設定することを推奨します。これにより、コストが急増する前に対策を講じることが可能になります。

  • アラート条件: _LogAnalyticsWorkspace テーブルのDataInGBメトリックが特定の閾値を超えた場合。

  • アクション: メール通知、Webhook、Azure Functionsなど。 これらのアラートはAzureポータルの「Azure Monitor」サービスから設定できます。

4. セキュリティ

Log Analyticsのセキュリティは、データの機密性と整合性を保ちながら、適切なアクセス制御とネットワーク分離を実現するために重要です。

4.1 アイデンティティと権限境界 (Entra ID/RBAC)

Log Analyticsワークスペースへのアクセス制御には、Azureロールベースのアクセス制御 (RBAC) が使用されます。Azure AD (旧称 Entra ID) のユーザー、グループ、サービスプリンシパルに対して、必要な最小限の権限を付与することが推奨されます[7]。

  • Log Analytics Reader: ログデータの読み取り権限。監査や監視担当者に付与します。

  • Log Analytics Contributor: ログデータの読み取り、ワークスペース設定の変更（例: 保持期間）、エージェント管理など。運用担当者やDevOpsチームに付与します。

  • Log Analytics User: 特定のログクエリと分析機能へのアクセス。

組み込みロールで要件を満たせない場合は、カスタムロールを定義することも可能です。

# 特定のユーザーにLog Analytics Readerロールを付与する例 (Azure CLI)


# 前提: Azure CLIがインストールされ、az loginでログイン済みであること。

$userPrincipalName = "user@contoso.com" # ロールを付与するユーザーのUPN
$resourceGroupName = "my-log-analytics-rg"
$workspaceName = "my-log-analytics-workspace"
$scope = "/subscriptions/<subscriptionId>/resourcegroups/$resourceGroupName/providers/Microsoft.OperationalInsights/workspaces/$workspaceName"

# ロール割り当ての実行


# az role assignment create `


#   --assignee $userPrincipalName `


#   --role "Log Analytics Reader" `


#   --scope $scope

Write-Host "ユーザー '$userPrincipalName' に Log Analytics Reader ロールを割り当てました。"

4.2 ネットワークセキュリティ (Azure Private Link)

Log AnalyticsワークスペースへのトラフィックをAzure Virtual Network経由でプライベートにルーティングするために、Azure Monitor Private Link Scope (AMPLS) を構成できます。これにより、ログデータの送信時にパブリックインターネットを経由せず、セキュリティが強化されます[6]。

Private Linkの構成は以下の手順で行います。

  1. Azure Monitor Private Link Scope (AMPLS) リソースを作成します。

  2. AMPLSにLog Analyticsワークスペースを追加します。

  3. VNet内にプライベートエンドポイントを作成し、AMPLSに関連付けます。

4.3 Azure Policyによる統制

Azure Policyを使用して、Log Analyticsワークスペースの構成を組織のセキュリティおよびコスト最適化基準に準拠させることができます。 例：

  • すべてのLog Analyticsワークスペースに特定のデータ保持期間を強制する。

  • 特定の容量予約SKUの使用を義務付ける。

  • Private Linkの使用を必須とする。

これにより、新規にデプロイされるワークスペースや既存のワークスペースが、定義されたポリシーに違反しないよう、ガバナンスを効かせることができます。

5. コスト

Log Analyticsのコストは主にデータ取り込み料金とデータ保持料金の2つの要素で構成されます[1]。

5.1 課金モデルの詳細

  • データ取り込み料金: Log Analyticsワークスペースに取り込まれるログデータの量 (GB単位) に基づいて課金されます。この料金は、Basic LogsとAnalytics Logsで異なります。

    • Analytics Logs: 標準のログデータ。クエリ機能が豊富で、アラート設定やダッシュボード作成に適しています。取り込み料金はBasic Logsより高価です。

    • Basic Logs: 低コストで取り込み可能なログデータ。主に長期的なセキュリティ監査やデバッグ目的で、クエリの頻度が低いシナリオに適しています。Analytics Logsと比較して、一部のクエリ機能が制限されます。

  • データ保持料金: Log Analyticsワークスペースにログデータが保持される期間と量 (GB/月単位) に基づいて課金されます。最初の31日間は無料で、それ以降は保持期間に応じて料金が発生します[1]。テーブルごとの保持期間設定により、このコストを細かく制御できます。

  • データエクスポート料金: Log AnalyticsからデータをAzure StorageやEvent Hubsへエクスポートする際にも料金が発生します。長期保持を目的とする場合、Log Analytics内での保持コストとエクスポート先のストレージコストを比較検討する必要があります。

5.2 コスト最適化策の再整理

これまでに説明した内容を基に、Log Analyticsの主要なコスト最適化策をまとめます。

  1. データ収集の最適化:

    • データ収集ルール (DCR) を活用し、不要なログ、冗長なログ、ノイズとなるログをフィルタリングまたは破棄する。

    • Diagnostic Settingsで、必要なログカテゴリのみをLog Analyticsに送信する。

  2. データ保持期間の管理:

    • ワークスペース全体、またはテーブル単位で適切な保持期間を設定する。コンプライアンス要件と分析ニーズに合わせて最小限の期間に設定する。

    • 長期保持が必要なデータは、アーカイブ層 (Basic Logs) の活用や、Azure Storageなどの低コストストレージへのエクスポートを検討する。

  3. 容量予約の活用:

    • 日次取り込み量が200GBを超える大規模環境では、Log Analytics容量予約を利用して取り込みコストを割引する[5]。

  4. Basic Logsの適用:

    • リアルタイム分析や頻繁なクエリが不要なログ（例: 監査ログ、アーカイブ目的のログ）にはBasic Logsを適用し、取り込みコストを削減する。

  5. コスト監視とアラート:

    • 定期的にLog Analyticsの使用状況を監視し、予期せぬコスト増加を検知するためのアラートを設定する。

6. 落とし穴

Log Analyticsのコスト最適化を進める上で、注意すべき潜在的な問題点と落とし穴があります。

  • DCRの過度なフィルタリング: 重要なセキュリティイベントやデバッグに必要なログをDCRによって誤って除外してしまう可能性があります。DCRの変更は慎重に行い、テスト環境で検証することが不可欠です。

  • 保持期間の短縮によるコンプライアンス違反: データ保持期間を短縮しすぎると、業界規制や内部コンプライアンス要件を満たせなくなるリスクがあります。法的・規制要件を確認し、適切な期間を設定してください。

  • 容量予約のミスマッチ:

    • 過剰予約: 実際の取り込み量よりもはるかに大きい容量を予約すると、コミットした容量に対する費用が無駄になります。

    • 過少予約: 予約した容量を超過した場合、超過分は従量課金レートで請求され、期待したコスト削減効果が得られない場合があります。取り込み量の傾向を正確に予測することが重要です。

  • データエクスポートの追加コスト: Log Analyticsからのデータエクスポート自体にコストがかかるだけでなく、エクスポート先のAzure StorageアカウントやEvent Hubsでも保存料、トランザクション料などが発生します。これらの合計コストを考慮せずにエクスポートを行うと、かえって総コストが増加する可能性があります。

  • Basic Logsの機能制限: Basic LogsはAnalytics Logsに比べてクエリ機能が制限されます。頻繁な分析や複雑な検索が必要なログにBasic Logsを適用すると、運用上の支障をきたす可能性があります。

7. まとめ

Azure Monitor Log Analyticsのコスト最適化は、単なる設定変更ではなく、ログデータ戦略全体を見直すプロセスです。本記事では、2024年7月現在の情報に基づき、効果的なコスト最適化のためのアーキテクチャ、設定手順、運用監視、セキュリティ、そして主要なコスト要因と落とし穴について解説しました。

データ収集ルールの適用、テーブルごとの保持期間設定、容量予約の活用、Basic Logsの適切な使い分けが、コスト削減の主要な柱となります。継続的な監視と見直しを通じて、コンプライアンスや運用ニーズを満たしつつ、最も効率的なLog Analytics環境を維持してください。

参照情報: [1] Azure Monitor の料金 – Microsoft Azure. https://azure.microsoft.com/ja-jp/pricing/details/monitor/ (2024-07-01更新, Microsoft Azure) [2] Azure Monitor の Log Analytics ワークスペースを設計する – Azure Architecture Center. https://learn.microsoft.com/ja-jp/azure/architecture/guide/monitoring/design-log-analytics-workspace (2024-06-25最終更新日, Microsoft Learn) [3] Log Analytics ワークスペースのデータ保持期間とアーカイブを構成する – Azure Monitor. https://learn.microsoft.com/ja-jp/azure/azure-monitor/logs/data-retention-archive (2024-07-09最終更新日, Microsoft Learn) [4] Azure Monitor でデータ収集ルールを作成して編集する – Azure Monitor. https://learn.microsoft.com/ja-jp/azure/azure-monitor/essentials/data-collection-rule-overview (2024-07-02最終更新日, Microsoft Learn) [5] Log Analytics 容量予約の価格 – Microsoft Azure. https://azure.microsoft.com/ja-jp/pricing/details/monitor/log-analytics/capacity-reservations/ (2024-07-01更新, Microsoft Azure) [6] Log Analytics Private Link の構成 – Azure Monitor. https://learn.microsoft.com/ja-jp/azure/azure-monitor/essentials/private-link (2024-06-19最終更新日, Microsoft Learn) [7] Azure Monitor のロール、アクセス許可、セキュリティ – Azure Monitor. https://learn.microsoft.com/ja-jp/azure/azure-monitor/roles-permissions-security (2024-06-19最終更新日, Microsoft Learn) [8] Log Analytics ワークスペースのクエリログをエクスポートする – Azure Monitor. https://learn.microsoft.com/ja-jp/azure/azure-monitor/logs/export-log-analytics-queries (2024-07-15最終更新日, Microsoft Learn)

ライセンス：本記事のテキスト/コードは特記なき限り CC BY 4.0 です。引用の際は出典URL（本ページ）を明記してください。
利用ポリシー もご参照ください。

コメント

タイトルとURLをコピーしました