#!/bin/bash


# スクリプト名: process_data.sh

# set -euo pipefail:


#   -e: コマンドが失敗した場合、スクリプトを即座に終了


#   -u: 未定義の変数を参照した場合、スクリプトを終了


#   -o pipefail: パイプライン中の任意のコマンドが失敗した場合、その失敗をパイプライン全体の終了ステータスとする

set -euo pipefail

# 処理対象のデータ取得・処理を行う関数

main() {

    # 一時ディレクトリの作成


    # mktemp -d: 一意な一時ディレクトリを作成。これにより、複数実行時の競合を防止し冪等性を高める。

    local tmpdir
    tmpdir=$(mktemp -d -t data_process_XXXXXX)

    # trap: スクリプト終了時に一時ディレクトリを確実に削除


    # EXITシグナルは、スクリプトが正常終了またはエラー終了した場合のいずれでも発生

    trap 'rm -rf "$tmpdir"' EXIT

    # 変数の定義 (読み取り専用を推奨)

    readonly API_ENDPOINT="https://api.example.com/data"
    readonly API_KEY="your_api_key_here" # 本番では環境変数やシークレット管理ツールを使用
    readonly OUTPUT_DIR="/var/log/my_app"
    readonly LOG_FILE="$OUTPUT_DIR/process_data-$(date +%Y%m%d).log"

    mkdir -p "$OUTPUT_DIR" # 出力ディレクトリが存在しない場合は作成

    echo "$(date +%Y/%m/%d_%H:%M:%S) - INFO: スクリプト開始" | tee -a "$LOG_FILE"

    # curlを用いた堅牢なAPI呼び出し

    local json_response
    json_response=$(fetch_data) # fetch_data関数でデータを取得

    # jqを用いた高度なJSON処理

    local processed_data
    processed_data=$(process_json "$json_response") # process_json関数でデータを処理

    # 処理結果の保存

    echo "$processed_data" | tee -a "$LOG_FILE"
    echo "$processed_data" > "$tmpdir/output_$(date +%Y%m%d%H%M%S).json"

    echo "$(date +%Y/%m/%d_%H:%M:%S) - INFO: スクリプト終了" | tee -a "$LOG_FILE"
}

# curlで外部APIからデータを取得する関数


# エラーハンドリング、リトライ、TLS設定を含む

fetch_data() {
    local max_retries=5
    local retry_delay_sec=5
    local connect_timeout_sec=10
    local max_time_sec=30
    local http_code
    local response_body
    local api_url="$API_ENDPOINT/metrics" # 例: メトリクス取得API

    for ((i=1; i<=max_retries; i++)); do
        echo "$(date +%Y/%m/%d_%H:%M:%S) - INFO: API呼び出し試行 $i/$max_retries" | tee -a "$LOG_FILE" >&2

        # --fail-with-body: HTTPエラー時でもレスポンスボディを表示


        # --location: リダイレクトを自動でフォロー


        # --cacert: 証明書の検証 (本番環境では適切に設定)


        # --retry, --retry-delay, --retry-max-time: ネットワーク一時障害への対応


        # --connect-timeout, --max-time: タイムアウト設定


        # -H "Authorization: Bearer $API_KEY": 認証ヘッダーの例

        response_body=$(
            curl -sS \
                 --fail-with-body \
                 --location \
                 --cacert /etc/ssl/certs/ca-certificates.crt \
                 --retry "$max_retries" \
                 --retry-delay "$retry_delay_sec" \
                 --retry-max-time "$((max_retries * retry_delay_sec * 2))" \
                 --connect-timeout "$connect_timeout_sec" \
                 --max-time "$max_time_sec" \
                 -H "Authorization: Bearer $API_KEY" \
                 -H "Content-Type: application/json" \
                 "$api_url" 2>&1
        )
        http_code=$? # curlの終了コードを取得

        if [[ $http_code -eq 0 ]]; then
            echo "$(date +%Y/%m/%d_%H:%M:%S) - INFO: API呼び出し成功" | tee -a "$LOG_FILE" >&2
            echo "$response_body"
            return 0
        else
            echo "$(date +%Y/%m/%d_%H:%M:%S) - ERROR: API呼び出し失敗 (exit code: $http_code)" | tee -a "$LOG_FILE" >&2
            echo "$response_body" | tee -a "$LOG_FILE" >&2
            if [[ $i -lt $max_retries ]]; then
                echo "$(date +%Y/%m/%d_%H:%M:%S) - INFO: $retry_delay_sec秒後にリトライ..." | tee -a "$LOG_FILE" >&2
                sleep "$retry_delay_sec"
            fi
        fi
    done
    echo "$(date +%Y/%m/%d_%H:%M:%S) - ERROR: 最大リトライ回数を超過。API呼び出しに失敗しました。" | tee -a "$LOG_FILE" >&2
    exit 1 # スクリプトをエラー終了させる
}

# jqでJSONデータを処理する関数


# 複数の処理ステップをパイプで繋ぐ例

process_json() {
    local json_input="$1"

    # jqの具体的な処理例:


    # 1. 配列内の各オブジェクトから 'id' と 'status' を抽出し、'timestamp' を追加


    # 2. 'status' が "active" の要素のみをフィルタリング


    # 3. 'value' フィールドの合計値を計算し、新しいJSONオブジェクトとして出力


    # 4. 'metadata' を削除し、'processed_at' を追加

    echo "$json_input" | jq -c '
        [
            .data.items[] | {
                id: .id,
                status: .status,
                value: .value,
                timestamp: (.timestamp | fromdateiso8601) # ISO 8601文字列をUNIXタイムスタンプに変換
            } | select(.status == "active") # "active"なアイテムのみを抽出
        ]
        | {
            total_active_items: length,
            sum_of_values: (map(.value) | add), # activeアイテムのvalueの合計
            processed_at: (now | todateiso8601),
            items: . # フィルタリング・変換後のアイテムリスト
        }

        # この例では、APIレスポンス全体ではなく、必要なデータ構造のみを抽出・変換しています。


        # 必要に応じて、別の jq 処理を追加することも可能です。

    '

    # 計算量: N個の要素を持つ配列処理の場合、O(N)


    # メモリ条件: 入力JSONのサイズと、変換後のJSONサイズに依存。大規模なJSONでは注意が必要。

}

# スクリプト実行

main "$@"

[Unit]
Description=My Application Data Processor
Documentation=https://example.com/docs/my-app-processor
After=network.target

[Service]

# Root権限の扱いと権限分離:


# ExecStartはroot権限で実行されますが、User/Groupディレクティブで非特権ユーザーに切り替えます。


# これにより、スクリプト自体は必要最小限の権限で実行され、セキュリティリスクを低減します。

User=myuser # 実行ユーザー (root以外の既存ユーザーを指定)
Group=myuser # 実行グループ
WorkingDirectory=/opt/my_app # スクリプトの作業ディレクトリ
ExecStart=/bin/bash /opt/my_app/process_data.sh # 実行するスクリプトのフルパス

# StandardOutput/StandardError: スクリプトの出力をsystemd journalに送る

StandardOutput=journal
StandardError=journal

# Restart: サービスが異常終了した場合の再起動ポリシー

Restart=on-failure

# RestartSec: 再起動を試みるまでの待機時間

RestartSec=5s

[Install]
WantedBy=multi-user.target # 通常はtimerユニットから呼び出されるため直接enableはしない

[Unit]
Description=Run My Application Data Processor every 10 minutes
Requires=my-app-processor.service # このタイマーはサービスに依存
Documentation=https://example.com/docs/my-app-processor

[Timer]

# OnCalendar: 定期実行スケジュール (例: 10分ごと)


# 具体的な実行例: OnCalendar=*-*-* *:00/10:00 (毎時00, 10, 20, 30, 40, 50分に実行)

OnCalendar=*:0/10:00

# AccuracySec: 実行時間の精度 (例: 1分以内に起動)

AccuracySec=1min

# Persistent: サービス停止中に起動タイミングを逃した場合、次回起動時に即時実行するか


# (例: サーバー再起動後に、停止中にスキップされた実行があればすぐ実行)

Persistent=true

[Install]
WantedBy=timers.target

# スクリプトに実行権限を付与

chmod +x /opt/my_app/process_data.sh

# スクリプトを直接実行

/opt/my_app/process_data.sh

# ログファイルと出力ファイルの確認

ls -l /var/log/my_app/
cat /var/log/my_app/process_data-$(date +%Y%m%d).log

# systemdに新しいユニットファイルを認識させる

sudo systemctl daemon-reload

# サービスを手動で開始

sudo systemctl start my-app-processor.service

# サービスのステータス確認

sudo systemctl status my-app-processor.service

# サービスログの確認 (journalctl)


# -u: ユニット指定, -f: フォローモード, --since "N minutes ago": 過去N分間のログ

sudo journalctl -u my-app-processor.service -f

# タイマーを有効化 (OS起動時に自動でタイマーが起動するようになる)

sudo systemctl enable my-app-processor.timer

# タイマーを起動 (即座にタイマーが開始される)

sudo systemctl start my-app-processor.timer

# タイマーのステータス確認

sudo systemctl status my-app-processor.timer

# 定期実行を停止する場合

sudo systemctl stop my-app-processor.timer
sudo systemctl disable my-app-processor.timer

# 直近のログを表示

sudo journalctl -u my-app-processor.service --since "1 day ago"

# エラーのみをフィルタリング

sudo journalctl -u my-app-processor.service -p err

# リアルタイムでログを監視

sudo journalctl -u my-app-processor.service -f