---
METADATA:
  SERVICE: jq-data-extraction
  CONTEXT: SRE/DevOps Automation
  TARGET: Robust JSON Parsing
  AUTHOR: AI Assistant (Gemini)
  DATE: 2024-07-29
  VERSION: 1.0
---

#!/bin/bash

# --- 堅牢性設定 ---


# -e: コマンドが失敗した場合、即座に終了


# -u: 未定義の変数を使用した場合、エラー


# -o pipefail: パイプライン中の任意のコマンドが失敗した場合、終了ステータスを失敗にする

set -euo pipefail

# 必要な外部コマンドのチェック

if ! command -v jq >/dev/null || ! command -v curl >/dev/null; then
    echo "ERROR: jq or curl command not found. Please install them." >&2
    exit 1
fi

# --- 変数定義 ---

API_ENDPOINT="https://jsonplaceholder.typicode.com/users" # テスト用公開API
OUTPUT_FILE="./processed_data_$(date +%Y%m%d%H%M%S).tsv"
TEMP_JSON="/tmp/api_response_$$.json"

# --- クリーンアップ処理 ---


# スクリプトが終了 (正常終了、中断、エラー終了に関わらず) した場合に実行される

cleanup() {
    rm -f "${TEMP_JSON}"
    echo "INFO: Temporary files cleaned up."
}
trap cleanup EXIT

# --- jq フィルタ定義 ---


# .[]: JSON配列をイテレート


# "\(.id)\t\(.name)\t\(.username)": 文字列補間を用いて、タブ(\t)区切りで値を出力

JQ_FILTER='
.[] | 
"ID\tNAME\tUSERNAME",  # ヘッダ行 (最初の一回だけ出力)
"\(.id)\t\(.name)\t\(.username)"
'

echo "INFO: Fetching data from API..."

# 1. APIからのデータ取得 (リトライ処理を含む)


# -s: サイレントモード


# -L: リダイレクトを追跡


# -f: HTTPステータスコードが400以上なら失敗とみなす


# --retry 3: 3回までリトライを試みる

if ! curl -sL -f --retry 3 "${API_ENDPOINT}" -o "${TEMP_JSON}"; then
    echo "FATAL: Failed to retrieve data from ${API_ENDPOINT} after multiple retries." >&2
    exit 2
fi

# 2. jqによる複数フィールド抽出と整形


# -r (raw output): jqの出力から文字列のダブルクォーテーションを除去 (必須)


# -f: フィルタをファイルではなく引数で指定

if ! jq -r "${JQ_FILTER}" "${TEMP_JSON}" > "${OUTPUT_FILE}"; then
    echo "FATAL: jq processing failed." >&2
    exit 3
fi

echo "SUCCESS: Data extraction completed."
echo "Output saved to: ${OUTPUT_FILE}"
cat "${OUTPUT_FILE}" | head -n 5

# スクリプトを実行

./process_data.sh

# 出力ファイルの先頭5行を確認


# 期待される出力:


# ID      NAME    USERNAME


# 1       Leanne Graham   Bret


# 2       Ervin Howell    Antonette


# 3       Clementine Bauch        Samantha


# 4       Patricia Lebsack        Karianne

# jq -r が動作しているか検証

if grep '"' "${OUTPUT_FILE}"; then
    echo "ERROR: Output still contains double quotes."
else
    echo "Verification successful: Raw output (-r) applied correctly."
fi

# systemd サービス名が data-extractor.service の場合

journalctl -u data-extractor.service --since "1 hour ago" -r

# 環境変数を使用する例（curlで認証ヘッダを渡す）

API_TOKEN="YOUR_SECRET_TOKEN"

# 外部APIの呼び出し部分（例）

curl -sL -H "Authorization: Bearer ${API_TOKEN}" "${API_ENDPOINT}"