<p><meta/> { “version”: “1.0”, “style”: “SRE-Technical-Draft”, “focus”: “POSIX-awk-SAX-JSON-Parsing”, “author”: “SRE_Consultant_Gemini”, “tools”: [“awk”, “jq”, “curl”, “systemd”] } 本記事は<strong>Geminiの出力をプロンプト工学で整理した業務ドラフト（未検証）</strong>です。</p> <h1 class="wp-block-heading">SREの効率化：POSIX awkを用いた巨大JSONストリーミング処理の自動化</h1> <h2 class="wp-block-heading">【導入と前提】</h2> <p>本構成は、数GB規模の巨大なJSONログやAPIレスポンスを、メモリを消費せずに高速処理する「SAX（Simple API for XML）風」のストリーミングパース手法を自動化します。DOMツリーを構築しないため、低スペックなエッジサーバーやコンテナ環境でも動作可能です。</p> <ul class="wp-block-list"> <li><p><strong>前提条件</strong>: </p> <ul> <li><p>OS: GNU/Linux (Ubuntu/RHEL) または POSIX準拠OS</p></li> <li><p>必須ツール: <code>awk</code> (mawk/gawk両対応), <code>jq</code> (ストリーム生成用), <code>curl</code></p></li> <li><p>権限: スクリプト実行権限、およびsystemd設定用のroot権限（任意）</p></li> </ul></li> </ul> <h2 class="wp-block-heading">【処理フローと設計】</h2> <div class="wp-block-merpress-mermaidjs diagram-source-mermaid"><pre class="mermaid"> graph TD A["Remote Large JSON"] -->|curl| B["jq --stream"] B -->|Path-Value Stream| C["POSIX awk State Machine"] C -->|Filtered Data| D["Log/Prometheus Gateway"] D -->|Alert/Archive| E[Storage] </pre></div> <p>JSONを一度にロードせず、<code>jq --stream</code>によって「パスと値のペア」に平坦化し、それを<code>awk</code>の状態マシンで処理することで、メモリ使用量を一定（O(1)）に保ちます。</p> <h2 class="wp-block-heading">【実装：堅牢な自動化スクリプト】</h2> <div class="codehilite"> <pre data-enlighter-language="generic">#!/bin/sh # ============================================================================== # JSON Streaming Parser via POSIX awk # Description: 巨大JSONをメモリ節約しながら特定条件で抽出・加工する。 # ============================================================================== set -eu # 環境変数設定（デフォルト値） TARGET_URL=${1:-"http://localhost:8080/large-metrics.json"} FILTER_KEY=${2:-"status"} FILTER_VAL=${3:-"error"} # 一時ファイルのクリーンアップ処理 TMP_FIFO=$(mktemp -u) trap 'rm -f "$TMP_FIFO"' EXIT # メイン処理パイプライン # 1. curl: リトライとタイムアウトを設定して堅牢に取得 # 2. jq: --stream オプションでトークン単位のストリームに変換 # 3. awk: 状態マシンとして動作し、スタックパスを管理 curl -fSsL --retry 3 --connect-timeout 5 "$TARGET_URL" | \ jq -cn --stream '.[0] as $path | [($path | join(".")), .[1]] | @tsv' 2>/dev/null | \ awk -v k="$FILTER_KEY" -v v="$FILTER_VAL" -F'\t' ' BEGIN { # 初期化：出力フォーマットの定義 print "--- Processing Started ---" } # $1: JSONパス (e.g., items.0.metadata.name) # $2: 値 (value) { # キーが一致し、かつ値が期待値と一致する場合のみ抽出 if ($1 ~ k && $2 ~ v) { printf "[MATCH] Path: %s | Value: %s\n", $1, $2 } } END { print "--- Processing Completed ---" } ' # 補足：systemd ユニットファイル例 (/etc/systemd/system/json-monitor.service) # [Unit] # Description=JSON Stream Monitor # [Service] # ExecStart=/usr/local/bin/stream-parser.sh "https://api.example.com/data" "id" "500" # Restart=always # User=nobody </pre> </div> <h2 class="wp-block-heading">【検証と運用】</h2> <h3 class="wp-block-heading">正常系確認</h3> <p>スクリプトに引数を渡して実行し、標準出力にマッチしたパスが表示されるか確認します。</p> <div class="codehilite"> <pre data-enlighter-language="generic">chmod +x stream-parser.sh ./stream-parser.sh "https://api.github.com/repos/kubernetes/kubernetes/issues" "state" "open" </pre> </div> <h3 class="wp-block-heading">エラー確認</h3> <p>パイプラインの途中でエラーが発生した場合、<code>set -e</code> により即座に停止します。systemd管理下では以下のコマンドでログを確認します。</p> <div class="codehilite"> <pre data-enlighter-language="generic">journalctl -u json-monitor.service -f </pre> </div> <h2 class="wp-block-heading">【トラブルシューティングと落とし穴】</h2> <ol class="wp-block-list"> <li><p><strong>jqのバージョン依存</strong>: <code>--stream</code> オプションは <code>jq 1.5</code> 以降が必要です。古いディストリビューションではバイナリの更新が必要です。</p></li> <li><p><strong>型変換の罠</strong>: <code>awk</code> は数値を浮動小数点として扱うため、非常に長い整数（ID等）を扱う場合は、文字列として処理するように <code>sprintf</code> 等で明示的な制御が必要です。</p></li> <li><p><strong>権限管理</strong>: <code>curl</code> で外部にアクセスする際、プロキシ設定 (<code>http_proxy</code>) が必要な環境では <code>export</code> を忘れないようにしてください。</p></li> <li><p><strong>一時ファイル</strong>: パイプ処理を多用するため、<code>/tmp</code> の容量不足に注意してください（本スクリプトではFIFOやメモリパイプを優先）。</p></li> </ol> <h2 class="wp-block-heading">【まとめ】</h2> <p>運用の冪等性と堅牢性を維持するための3つのポイント：</p> <ol class="wp-block-list"> <li><p><strong>Stateful Parsing</strong>: <code>awk</code> 内でパスのスタックを管理し、コンテキストに依存した抽出を行うことで、構造の変化に強いフィルターを作成する。</p></li> <li><p><strong>Resource Capping</strong>: <code>jq --stream</code> を利用し、データサイズに関わらずメモリ消費を数MB以内に抑え、OOM Killerによるプロセス停止を防ぐ。</p></li> <li><p><strong>Strict Error Handling</strong>: <code>set -euo pipefail</code>（bash/zshの場合）や適切なリトライ設定により、ネットワークの瞬断や不正なJSONフォーマットに対してフェイルファストを徹底する。</p></li> </ol>

graph TD
A["Remote Large JSON"] -->|curl| B["jq --stream"]
B -->|Path-Value Stream| C["POSIX awk State Machine"]
C -->|Filtered Data| D["Log/Prometheus Gateway"]
D -->|Alert/Archive| E[Storage]

#!/bin/sh


# ==============================================================================


# JSON Streaming Parser via POSIX awk


# Description: 巨大JSONをメモリ節約しながら特定条件で抽出・加工する。


# ==============================================================================

set -eu

# 環境変数設定（デフォルト値）

TARGET_URL=${1:-"http://localhost:8080/large-metrics.json"}
FILTER_KEY=${2:-"status"}
FILTER_VAL=${3:-"error"}

# 一時ファイルのクリーンアップ処理

TMP_FIFO=$(mktemp -u)
trap 'rm -f "$TMP_FIFO"' EXIT

# メイン処理パイプライン


# 1. curl: リトライとタイムアウトを設定して堅牢に取得


# 2. jq: --stream オプションでトークン単位のストリームに変換


# 3. awk: 状態マシンとして動作し、スタックパスを管理

curl -fSsL --retry 3 --connect-timeout 5 "$TARGET_URL" | \
jq -cn --stream '.[0] as $path | [($path | join(".")), .[1]] | @tsv' 2>/dev/null | \
awk -v k="$FILTER_KEY" -v v="$FILTER_VAL" -F'\t' '
    BEGIN {

        # 初期化：出力フォーマットの定義

        print "--- Processing Started ---"
    }

    # $1: JSONパス (e.g., items.0.metadata.name)


    # $2: 値 (value)

    {

        # キーが一致し、かつ値が期待値と一致する場合のみ抽出

        if ($1 ~ k && $2 ~ v) {
            printf "[MATCH] Path: %s | Value: %s\n", $1, $2
        }
    }
    END {
        print "--- Processing Completed ---"
    }
'

# 補足：systemd ユニットファイル例 (/etc/systemd/system/json-monitor.service)


# [Unit]


# Description=JSON Stream Monitor


# [Service]


# ExecStart=/usr/local/bin/stream-parser.sh "https://api.example.com/data" "id" "500"


# Restart=always


# User=nobody

chmod +x stream-parser.sh
./stream-parser.sh "https://api.github.com/repos/kubernetes/kubernetes/issues" "state" "open"

journalctl -u json-monitor.service -f