# access.log の作成 (一度だけ実行)

cat <<EOF > access.log
2024-07-25T10:00:01Z INFO request_id=abc1 user_id=101 latency=50ms /api/v1/data
2024-07-25T10:00:05Z ERROR request_id=def2 user_id=102 latency=200ms Failed to process item
2024-07-25T10:00:10Z INFO request_id=ghi3 user_id=103 latency=30ms /api/v1/status
2024-07-25T10:00:12Z ERROR request_id=jkl4 user_id=101 latency=150ms Database connection lost
2024-07-25T10:00:15Z INFO request_id=mno5 user_id=102 latency=60ms /api/v1/report
EOF

#!/bin/bash


# report_generator.sh: DevOpsレポート生成スクリプト

# 厳格なシェルスクリプト設定:


# -e: コマンドが失敗した場合、即座にスクリプトを終了


# -u: 未定義の変数の使用をエラーとする


# -o pipefail: パイプライン中の任意のコマンドが失敗した場合、そのエラーを返す

set -euo pipefail

# スクリプト名とログファイルパス

SCRIPT_NAME=$(basename "${0}")
LOG_FILE="/var/log/my_app/access.log" # 実際のログファイルパスに合わせて変更
OUTPUT_REPORT_FILE="${HOME}/reports/devops_report_$(date +%Y%m%d%H%M%S).csv"
API_BASE_URL="https://api.example.com/users" # ダミーAPIエンドポイント

# 一時ディレクトリの作成

TMP_DIR=$(mktemp -d -t "${SCRIPT_NAME}.XXXXXXXXXX")

# クリーンアップ関数: スクリプト終了時に一時ファイルを削除

cleanup() {
    echo "$(date '+%Y-%m-%d %H:%M:%S JST'): INFO: Cleaning up temporary directory ${TMP_DIR}." >&2
    rm -rf "${TMP_DIR}"
    echo "$(date '+%Y-%m-%d %H:%M:%S JST'): INFO: Script finished." >&2
}
trap cleanup EXIT # EXITシグナルでcleanup関数を実行

echo "$(date '+%Y-%m-%d %H:%M:%S JST'): INFO: Script started. Temporary directory: ${TMP_DIR}" >&2

# 出力ディレクトリが存在しない場合は作成

mkdir -p "$(dirname "${OUTPUT_REPORT_FILE}")"

# ログファイルの存在確認

if [[ ! -f "${LOG_FILE}" ]]; then
    echo "$(date '+%Y-%m-%d %H:%M:%S JST'): ERROR: Log file not found: ${LOG_FILE}" >&2
    exit 1
fi

# ヘッダー行の出力

echo "Timestamp,RequestID,UserID,Username,Email,Latency,Status,Message" > "${OUTPUT_REPORT_FILE}"

# 1. awkによるログデータの抽出と前処理


# access.logからERRORログを抽出し、request_id, user_id, latencyを整形して一時ファイルに保存


# 遅延時間が大きい場合（例: 100ms以上）のみを対象とする

echo "$(date '+%Y-%m-%d %H:%M:%S JST'): INFO: Extracting data from log file." >&2
awk '
    /ERROR/ {

        # タイムスタンプ

        timestamp = $1;

        # request_id=xxx から xxx を抽出

        match($3, /request_id=([^ ]+)/, arr); request_id = arr[1];

        # user_id=yyy から yyy を抽出

        match($4, /user_id=([^ ]+)/, arr); user_id = arr[1];

        # latency=zzzms から zzz を抽出

        match($5, /latency=([0-9]+)ms/, arr); latency = arr[1];

        # 100ms以上のエラーのみを抽出

        if (latency >= 100) {

            # メッセージ部分の結合

            message = "";
            for (i = 6; i <= NF; i++) {
                message = message $i " ";
            }
            sub(/ *$/, "", message); # 末尾のスペースを削除
            print timestamp "," request_id "," user_id "," latency "," message;
        }
    }
' "${LOG_FILE}" > "${TMP_DIR}/extracted_errors.csv"

# 抽出されたエラーログがないか確認

if [[ ! -s "${TMP_DIR}/extracted_errors.csv" ]]; then
    echo "$(date '+%Y-%m-%d %H:%M:%S JST'): INFO: No high-latency errors found. Exiting." >&2
    exit 0
fi

echo "$(date '+%Y-%m-%d %H:%M:%S JST'): INFO: Processing extracted errors and fetching user info." >&2

# 2. 抽出データに基づき、外部APIから追加情報を取得 (curl/jq) し、レポートに結合 (awk)


# -F',': 入力区切り文字をカンマに設定


# OFS=',': 出力区切り文字をカンマに設定


# NR==FNR: 最初のファイル (extracted_errors.csv) を処理中


# { user_id_map[$3] = $0 } : user_idをキーとしてエラー情報を格納


# FNR!=NR && ($1 in user_id_map): 2番目のファイル (curl/jqの出力) を処理中で、user_idが一致した場合

awk -F',' -v api_base_url="${API_BASE_URL}" '
    BEGIN {
        OFS=",";

        # API呼び出し時のリトライ設定

        CURL_RETRY_OPTS="--fail-with-body --retry 5 --retry-delay 3 --retry-max-time 30 -sS"
    }
    {
        timestamp=$1; request_id=$2; user_id=$3; latency=$4; message=$5;

        # 外部APIからユーザー情報を取得


        # jqを使ってusernameとemailを抽出

        command = "curl " CURL_RETRY_OPTS " \"" api_base_url "/" user_id "\" | jq -r \".username + \",\" + .email\" 2>/dev/null";
        if ((command | getline api_result) > 0) {
            split(api_result, user_info, ",");
            username = user_info[1];
            email = user_info[2];
        } else {
            username = "N/A";
            email = "N/A";
            print "WARNING: Could not fetch user info for user_id " user_id " at " timestamp | "cat >&2";
        }
        close(command); # getline後のクローズは必須

        print timestamp, request_id, user_id, username, email, latency, "ERROR", message;
    }
' "${TMP_DIR}/extracted_errors.csv" >> "${OUTPUT_REPORT_FILE}"

echo "$(date '+%Y-%m-%d %H:%M:%S JST'): INFO: Report generated at ${OUTPUT_REPORT_FILE}" >&2

exit 0

[Unit]
Description=DevOps Report Generator Service
Documentation=https://github.com/my-org/report-generator # 必要に応じてドキュメントURLを記載
After=network-online.target # ネットワークが利用可能になってから起動

[Service]
Type=oneshot # 一度だけ実行されるサービス

# DynamicUser=yes は、systemdがサービス実行用の匿名なユーザーを作成するため、権限分離に優れます。


# ただし、特定のファイルへの書き込み権限が必要な場合、このユーザーに権限を与えるか、


# User=/Group=で既存の専用ユーザーを指定する必要があります。


# ここでは既存の非特権ユーザー 'appuser' を仮定します。

User=appuser
Group=appuser
WorkingDirectory=/opt/report-generator # スクリプトのあるディレクトリ
ExecStart=/opt/report-generator/report_generator.sh

# 標準出力と標準エラーをjournaldに送る

StandardOutput=journal
StandardError=journal

# 環境変数が必要な場合

Environment="REPORT_ENV=production"

# リソース制限（任意）

CPUSchedulingPolicy=idle
IOAccounting=yes
MemoryMax=256M

[Install]
WantedBy=multi-user.target

[Unit]
Description=Run DevOps Report Generator Daily
Requires=report-generator.service # サービスユニットに依存

[Timer]

# 毎日午前0時（JST）にサービスを起動

OnCalendar=*-*-* 00:00:00

# タイマーが非アクティブな間に発生したイベントをキャッチして、次回起動時にサービスをすぐに実行する

Persistent=true

# タイマーが起動するまでのランダムな遅延を追加（システムの負荷分散に役立つ）

RandomizedDelaySec=600

[Install]
WantedBy=timers.target

# スクリプトを実行可能にする

chmod +x report_generator.sh

# スクリプトを直接実行 (HOMEディレクトリは適宜変更)

HOME="${HOME}" ./report_generator.sh

# 生成されたレポートファイルを確認

ls "${HOME}/reports/"
cat "${HOME}/reports/devops_report_*.csv"

# スクリプトを適切な場所に配置

sudo mkdir -p /opt/report-generator
sudo cp report_generator.sh /opt/report-generator/
sudo cp access.log /var/log/my_app/ # ログファイルも適切な場所に配置
sudo chown -R appuser:appuser /opt/report-generator /var/log/my_app
sudo mkdir -p "${HOME}/reports" # 出力先ディレクトリもappuserの所有にする
sudo chown appuser:appuser "${HOME}/reports"

# systemdユニットファイルを配置

sudo cp report-generator.service /etc/systemd/system/
sudo cp report-generator.timer /etc/systemd/system/

# systemd設定をリロード

sudo systemctl daemon-reload

# タイマーを有効化して起動

sudo systemctl enable --now report-generator.timer

# タイマーとサービスのステータスを確認

systemctl list-timers report-generator.timer
systemctl status report-generator.service

# ログを確認 (実行された場合)

journalctl -u report-generator.service --since "1 hour ago"
journalctl -u report-generator.timer --since "1 hour ago"