#!/usr/bin/env bash


# set -euo pipefailはスクリプト全体で後述


# curl を用いて外部APIからデータを安全に取得する関数

fetch_data() {
    local api_endpoint="$1"
    local output_file="$2"
    local max_retries=5
    local retry_delay_sec=5
    local connect_timeout_sec=10
    local max_time_sec=30

    echo "$(date +"%Y-%m-%dT%H:%M:%SZ") INFO: Fetching data from ${api_endpoint}..." >&2

    # curl の安全な利用例


    # -sSL: サイレントモード、リダイレクトを追跡


    # --retry: リトライ回数


    # --retry-delay: リトライ間隔（秒）


    # --connect-timeout: 接続確立のタイムアウト（秒）


    # --max-time: 全体処理のタイムアウト（秒）


    # --fail-with-body: HTTPエラー時にレスポンスボディを表示


    # --header: リクエストヘッダの追加


    # --output: 出力ファイル指定

    if ! curl -sSL \
        --retry "${max_retries}" \
        --retry-delay "${retry_delay_sec}" \
        --connect-timeout "${connect_timeout_sec}" \
        --max-time "${max_time_sec}" \
        --fail-with-body \
        --header "Accept: application/json" \
        --output "${output_file}" \
        "${api_endpoint}"; then
        echo "$(date +"%Y-%m-%dT%H:%M:%SZ") ERROR: Failed to fetch data from API: ${api_endpoint}" >&2
        return 1
    fi
    echo "$(date +"%Y-%m-%dT%H:%M:%SZ") INFO: Data fetched and saved to ${output_file}" >&2
    return 0
}

# 使用例:


# fetch_data "https://api.example.com/data" "/tmp/raw_data.json"

#!/usr/bin/env bash


# jq を用いてJSONデータを変換する関数

transform_data() {
    local input_file="$1"
    local output_file="$2"
    local current_iso_date # シェルで現在時刻を取得し、jqに渡す

    # 現在のUTC時刻をISO 8601形式で取得 (例: 2024-07-26T12:34:56Z)

    current_iso_date=$(date -u +"%Y-%m-%dT%H:%M:%SZ")

    echo "$(date +"%Y-%m-%dT%H:%M:%SZ") INFO: Transforming JSON data from ${input_file}..." >&2

    # jqフィルターの定義


    # --arg current_time: シェル変数`current_iso_date`を`jq`内の変数`$current_time`として渡す


    # -c: 圧縮出力 (改行なし)

    jq_filter='
    .[] | select(.status == "active") | { # 配列の各要素を処理し、statusが"active"のものを選択
        id: .id,                          # idフィールドをそのまま使用
        name: .name,                      # nameフィールドをそのまま使用
        category: .category // "unknown", # categoryがnullや存在しない場合は"unknown"をデフォルト値とする
        processed_at: $current_time       # $current_time変数をprocessed_atフィールドとして追加
    }
    '

    # jqコマンドの実行

    if ! jq -c --arg current_time "${current_iso_date}" "${jq_filter}" "${input_file}" > "${output_file}"; then
        echo "$(date +"%Y-%m-%dT%H:%M:%SZ") ERROR: Failed to transform JSON data with jq." >&2
        return 1
    fi
    echo "$(date +"%Y-%m-%dT%H:%M:%SZ") INFO: Transformed data saved to ${output_file}" >&2
    return 0
}

# 使用例:


# transform_data "/tmp/raw_data.json" "/tmp/transformed_data.json"

#!/usr/bin/env bash


# このスクリプトはAPIからJSONデータを取得し、jqで変換後、指定された場所に出力します。

# 厳格なエラーハンドリング設定


# -e: エラーが発生したら即座に終了


# -u: 未定義の変数を使用したらエラー


# -o pipefail: パイプライン中のコマンドが一つでも失敗したら全体を失敗とみなす

set -euo pipefail

# スクリプト名

SCRIPT_NAME=$(basename "$0")

# ログ関数 (journalctlで確認できるよう標準エラー出力に詳細を出す)

log() {
    local level="$1"
    local message="$2"

    # ISO 8601形式でJST現在時刻を出力

    echo "$(date +"%Y-%m-%dT%H:%M:%S%z") ${SCRIPT_NAME} [${level}]: ${message}" >&2
}

# 一時ディレクトリのパスを格納する変数

TMP_DIR=""

# クリーンアップ関数


# スクリプト終了時 (正常終了、エラー終了、シグナル終了) に一時ファイルを削除

cleanup() {
    local exit_code=$? # 終了コードを保持
    if [ -n "${TMP_DIR}" ] && [ -d "${TMP_DIR}" ]; then
        log "INFO" "Cleaning up temporary directory: ${TMP_DIR}"
        rm -rf "${TMP_DIR}"
    fi

    # 保持した終了コードで終了

    exit "${exit_code}"
}

# EXIT: シェルが終了する際に実行


# INT: Ctrl+Cなどによる割り込みシグナル


# TERM: 終了シグナル

trap cleanup EXIT INT TERM

# 一時ディレクトリの作成 (mktempで安全なユニークなディレクトリを作成)


# -d: ディレクトリを作成


# -t json-proc-XXXXXXXXXX: プレフィックスとXでテンプレート指定

TMP_DIR=$(mktemp -d -t json-proc-XXXXXXXXXX)
if [ -z "${TMP_DIR}" ]; then
    log "ERROR" "Failed to create temporary directory."
    exit 1
fi
log "INFO" "Temporary directory created: ${TMP_DIR}"

# -----------------------------------------------------


# データ取得と変換処理の本体


# -----------------------------------------------------

# APIエンドポイントと出力ファイルの定義

API_ENDPOINT="https://api.example.com/data"
RAW_DATA_FILE="${TMP_DIR}/raw_data.json"
TRANSFORMED_DATA_FILE="${TMP_DIR}/transformed_data.json"
OUTPUT_DESTINATION_FILE="/var/lib/data-processor/latest_processed_data_$(date +"%Y%m%d%H%M%S").json" # 最終出力パス

# データ取得


# fetch_data関数は前のセクションで定義されたものを使用

fetch_data() {
    local api_endpoint="$1"
    local output_file="$2"
    local max_retries=5
    local retry_delay_sec=5
    local connect_timeout_sec=10
    local max_time_sec=30

    log "INFO" "Fetching data from ${api_endpoint}..."

    if ! curl -sSL \
        --retry "${max_retries}" \
        --retry-delay "${retry_delay_sec}" \
        --connect-timeout "${connect_timeout_sec}" \
        --max-time "${max_time_sec}" \
        --fail-with-body \
        --header "Accept: application/json" \
        --output "${output_file}" \
        "${api_endpoint}"; then
        log "ERROR" "Failed to fetch data from API: ${api_endpoint}"
        return 1
    fi
    log "INFO" "Data fetched and saved to ${output_file}"
    return 0
}

# JSONデータ変換


# transform_data関数は前のセクションで定義されたものを使用

transform_data() {
    local input_file="$1"
    local output_file="$2"
    local current_iso_date # シェルで現在時刻を取得し、jqに渡す

    current_iso_date=$(date -u +"%Y-%m-%dT%H:%M:%SZ")

    log "INFO" "Transforming JSON data from ${input_file}..."

    jq_filter='
    .[] | select(.status == "active") | {
        id: .id,
        name: .name,
        category: .category // "unknown",
        processed_at: $current_time
    }
    '

    if ! jq -c --arg current_time "${current_iso_date}" "${jq_filter}" "${input_file}" > "${output_file}"; then
        log "ERROR" "Failed to transform JSON data with jq."
        return 1
    fi
    log "INFO" "Transformed data saved to ${output_file}"
    return 0
}


# メイン処理の実行

if ! fetch_data "${API_ENDPOINT}" "${RAW_DATA_FILE}"; then
    log "CRITICAL" "Data fetching failed. Exiting."
    exit 1
fi

if ! transform_data "${RAW_DATA_FILE}" "${TRANSFORMED_DATA_FILE}"; then
    log "CRITICAL" "Data transformation failed. Exiting."
    exit 1
fi

# 最終的なデータを永続的な場所へ移動


# 冪等性を考慮し、常に新しいタイムスタンプ付きファイルとして保存。


# もし常に同じファイル名を上書きしたい場合は、mv -f を使用。


# この例では、履歴を保持するため新しいファイル名で保存。

if ! install -D -m 644 "${TRANSFORMED_DATA_FILE}" "${OUTPUT_DESTINATION_FILE}"; then
    log "ERROR" "Failed to move transformed data to ${OUTPUT_DESTINATION_FILE}. Please check permissions."
    exit 1
fi
log "INFO" "Final processed data moved to ${OUTPUT_DESTINATION_FILE}"

log "INFO" "Script completed successfully."
exit 0

# /etc/systemd/system/data-processor.service

[Unit]
Description=Periodic JSON Data Processing Service by DevOps team # サービスの目的を記述
Documentation=https://jqlang.github.io/jq/manual/ # 関連ドキュメントのURL
After=network-online.target # ネットワークが利用可能になってから起動

[Service]
Type=oneshot # 実行後すぐに終了するタイプ

# Type=simple や Type=forking は長時間のバックグラウンドプロセス向け。


# このスクリプトは実行後終了するためoneshotが適切。

User=dataproc # スクリプトを実行する専用ユーザー名
Group=dataproc # スクリプトを実行する専用グループ名

# root権限を必要としない操作であれば、専用ユーザーでの実行はセキュリティ上必須です。

WorkingDirectory=/opt/data-processor/scripts # スクリプトの実行ディレクトリ

# ExecStart: 実行するコマンドとその引数

ExecStart=/opt/data-processor/scripts/process_data.sh

# サービス固有の一時ディレクトリを/tmpの代わりに利用

#これにより、サービス間の/tmp汚染を防ぎ、クリーンアップも容易になります。

PrivateTmp=true

# 読み書きを許可するパスを明示的に指定


# ReadWritePaths=/var/lib/data-processor /var/log/data-processor


# 上記はsystemd v236以降で利用可能。古いバージョンでは別途権限管理が必要です。

# プロセス分離を強化するオプション例 (必要に応じて追加)


# RootDirectory=/var/empty # chroot 環境で実行


# CapabilityBoundingSet=~CAP_SYS_ADMIN # 特権を制限

# 標準出力と標準エラー出力の処理

StandardOutput=journal # 出力をsystemdジャーナルに送る
StandardError=journal  # エラー出力をsystemdジャーナルに送る

# これにより、journalctlコマンドでログを一元的に確認できます。

# サービスが失敗した場合の再起動ポリシー (oneshotの場合はあまり意味がないが、例として)


# Restart=on-failure


# RestartSec=5s

[Install]
WantedBy=multi-user.target # システム起動時に自動実行されるターゲット

# /etc/systemd/system/data-processor.timer

[Unit]
Description=Run JSON Data Processor every 15 minutes # タイマーの目的を記述
Requires=data-processor.service # 関連するサービスユニット

[Timer]

# OnCalendar: タイマーのスケジュールを定義


# この例では、毎時0分、15分、30分、45分に実行

OnCalendar=*:0/15:00

# 他の例:


# OnCalendar=hourly      # 毎時0分に実行


# OnCalendar=daily       # 毎日00:00に実行


# OnCalendar=*-*-* 03:00:00 # 毎日03:00に実行


# OnCalendar=Wed *-*-1,15 00:00:00 # 毎月1日と15日の水曜日00:00に実行

Persistent=true # サービスが停止している間に実行されるべきだったスケジュールを、再開後にすぐに実行する

# これがないと、タイマーが非アクティブな間に発生したスケジュールはスキップされます。

[Install]
WantedBy=timers.target # タイマーを有効にするターゲット

sudo systemctl daemon-reload # systemd設定の再読み込み
sudo systemctl enable data-processor.timer # タイマーを自動起動設定
sudo systemctl start data-processor.timer  # タイマーを今すぐ起動