jqを活用したJSONデータの高度なグループ化と集計の自動化手法

#!/usr/bin/env bash

# ---------------------------------------------------------
# script: aggregate_resource_costs.sh
# description: JSON配列をサービス名でグループ化し、合計コストを算出する
# ---------------------------------------------------------

set -euo pipefail # エラー発生で停止、未定義変数参照禁止、パイプエラーの伝播
trap 'rm -f "$TMP_DATA"' EXIT # 終了時に一時ファイルを確実に削除

# 設定
readonly API_ENDPOINT="https://api.example.com/v1/billing/usage"
readonly TMP_DATA=$(mktemp) # セキュアな一時ファイルの作成

# 1. データ取得（リトライ処理付き）
echo "Fetching usage data..."
curl -s -S -L \
  --retry 3 \
  --retry-delay 2 \
  -H "Authorization: Bearer ${API_TOKEN:-}" \
  "$API_ENDPOINT" -o "$TMP_DATA" || { echo "Error: Failed to fetch data"; exit 1; }

# 2. jqによる高度な集計処理（tonumberによる型安全性の確保）
echo "Aggregating data..."
jq -r '
  group_by(.service) | 
  map({
    service: .[0].service,
    total_cost: (map(.amount | tonumber) | add),
    count: length,
    average_usage: (if length > 0 then (map(.amount | tonumber) | add) / length else 0 end)
  }) |
  sort_by(.total_cost) | reverse
' "$TMP_DATA"

# 3. 特定条件でのフィルタリング例 (reduce活用)
echo "Calculating grand total..."
jq -r '
  reduce .[] as $item (0; . + ($item.amount | tonumber)) | 
  {grand_total: .}
' "$TMP_DATA"

./aggregate_resource_costs.sh | jq .

journalctl -u resource-aggregation.service -f