本記事はGeminiの出力をプロンプト工学で整理した業務ドラフト（未検証）です。
データの整合性を守る：シェルスクリプトにおける異常停止と後処理の自動化
【導入と前提】
本稿では、API経由で取得したJSONデータを処理し、データベースや外部ストレージに同期するバッチ処理の堅牢化を解説します。不完全なデータ処理による副作用を最小限に抑え、異常終了時に確実にゴミを残さない設計を目指します。
OS/実行環境: GNU/Linux (Ubuntu/RHEL)
必須ツール: Bash 4.4+,
curl,jq,systemd
【処理フローと設計】
スクリプトのライフサイクル全体を通じて、どのフェーズで失敗してもシステムをクリーンな状態に保つためのフローです。
graph TD
A["スクリプト開始"] --> B["一時ファイル作成"]
B --> C{"APIデータ取得"}
C -->|失敗| D["EXITトラップ発動"]
C -->|成功| E["jqによる検証/変換"]
E -->|不正JSON| D
E -->|正常| F["最終処理/デプロイ"]
F --> G["正常終了"]
D --> H["一時ファイル削除/ログ記録"]
G --> H
初期化:
setオプションによる厳格なエラーハンドリングの有効化。保護:
trapによるシグナル捕捉とリソース解放の予約。実行: パイプラインを含む各コマンドの成否を監視。
【実装：堅牢な自動化スクリプト】
以下は、外部APIからシステム設定を取得し、検証した上で保存する実戦的なスクリプト例です。
1. 堅牢なシェルスクリプト (sync_data.sh)
#!/usr/bin/env bash
# -e: コマンドの失敗で即終了
# -u: 未定義変数の参照でエラー
# -o pipefail: パイプ途中の失敗を反映
set -euo pipefail
# ロギング関数
log() { echo "[$(date +'%Y-%m-%dT%H:%M:%S%z')] $*"; }
# 一時ファイルの管理
TMPFILE=$(mktemp /tmp/api_data.XXXXXX.json)
# EXITシグナル（正常・異常終了の両方）で一時ファイルを削除
trap 'rm -f "$TMPFILE"; log "Cleanup completed."' EXIT
# APIエンドポイント（例）
API_URL="https://api.example.com/v1/config"
log "Starting data fetch..."
# curlの安全な実行
# -s: 進捗非表示, -S: エラー表示, -f: HTTPエラー時に失敗扱い, -L: リダイレクト追跡
# --retry: 一時的なネットワークエラーへの対応
curl -sSfL --retry 3 --retry-delay 2 "$API_URL" -o "$TMPFILE"
log "Validating JSON integrity..."
# jqによるスキーマ検証（例：特定のキーが存在するか）
if ! jq -e '.version' "$TMPFILE" > /dev/null; then
log "Error: Invalid JSON schema detected."
exit 1
fi
# データの安全な配置（アトミックな書き換えのために一旦別名で保存してmv）
mv "$TMPFILE" "./config_actual.json"
log "Process finished successfully."
2. systemd ユニットファイルによる定時実行
スクリプトをデーモン化または定期実行（Timer）する場合の設定例です。
# /etc/systemd/system/api-sync.service [Unit] Description=Robust API Data Sync Service After=network-online.target [Service] Type=oneshot User=syncuser ExecStart=/usr/local/bin/sync_data.sh # 異常終了時の挙動定義 Restart=on-failure RestartSec=30s [Install] WantedBy=multi-user.target
【検証と運用】
スクリプトを導入した後は、以下の手順で動作を確認します。
終了ステータスの確認:
echo $?を実行し、正常時は0、異常時はそれ以外であることを確認します。ログの追跡:
journalctl -u api-sync.serviceで実行履歴とtrapによるクリーンアップログを確認します。疑似エラー注入:
API_URLを無効なものに書き換え、set -eによって即座に停止し、かつtrapにより/tmp内のファイルが削除されることを確認します。
【トラブルシューティングと落とし穴】
パイプラインの罠:
set -o pipefailがないと、curl ... | jq ...のcurlが失敗してもjqが成功すればスクリプトは続行されてしまいます。必ずセットで使用してください。sudoの環境変数:
sudo経由で実行する場合、環境変数が引き継がれないことがあります。sudo -Eを使用するか、スクリプト内で明示的にパスを通してください。trapの多重定義:
trapは後から書いたものに上書きされます。複数の処理を入れたい場合は、関数にまとめて呼び出すのがベストプラクティスです。
【まとめ】
運用の冪等性と堅牢性を維持するための3つのポイント：
アトミックな操作: ファイル更新は直接上書きせず、一時ファイルを作成してから
mvで置換する。Fail-Fast設計:
set -euo pipefailでエラーを隠蔽せず、問題発生時に即座に停止させる。リソースの自己破棄:
trapを利用し、実行パスに関わらず一時ファイルやロックファイルを確実に削除する。
コメント