<p><meta/> { “style_prompt”: “sre_devops_v1”, “priority”: “high”, “technical_level”: “expert”, “content_type”: “technical_draft”, “language”: “ja”, “target_audience”: “SRE/DevOps Engineer”, “tools_referenced”: [“awk”, “jq”, “curl”, “systemd”, “bash”], “timestamp”: “2024-05-24T00:00:00Z” } </p> <p>本記事は<strong>Geminiの出力をプロンプト工学で整理した業務ドラフト（未検証）</strong>です。</p> <h1 class="wp-block-heading">大規模JSONストリームを低メモリで処理するPOSIX awkベースのSAX型パーサーの実装</h1> <h2 class="wp-block-heading">【導入と前提】</h2> <p>メモリ効率を最大化し、巨大なJSONストリームを低リソース環境で高速かつ安定的に処理・抽出する自動化基盤を構築します。</p> <ul class="wp-block-list"> <li><p><strong>OS</strong>: POSIX準拠のUNIX/Linux環境（Alpine, Ubuntu, RHEL等）</p></li> <li><p><strong>ツール</strong>: <code>awk</code> (POSIX), <code>jq</code> (ストリーム前処理用), <code>curl</code> (データ取得用)</p></li> </ul> <h2 class="wp-block-heading">【処理フローと設計】</h2> <div class="wp-block-merpress-mermaidjs diagram-source-mermaid"><pre class="mermaid"> graph TD A["Remote API / Huge JSON"] -->|curl stream| B["jq -c ."] B -->|Tokenized Stream| C["POSIX awk SAX Parser"] C -->|Extracted Data| D["Storage / Log / Metrics"] C -->|Error Handling| E["Error Logs"] </pre></div> <p>巨大なJSONを一度にメモリへ読み込むDOM方式ではなく、イベント駆動（SAX風）で一行ずつ処理することで、数GBのファイルでも数十MBのメモリフットプリントで解析可能です。<code>jq -c</code> で最小単位のオブジェクトに断片化し、<code>awk</code> 内で状態スタックを管理します。</p> <h2 class="wp-block-heading">【実装：堅牢な自動化スクリプト】</h2> <div class="codehilite"> <pre data-enlighter-language="generic">#!/bin/sh # set -eu: エラー時に停止、未定義変数を禁止 # pipefail: パイプライン途中のエラーを拾う set -eu # 一時ファイルの確実な削除 TMP_DIR=$(mktemp -d) trap 'rm -rf "$TMP_DIR"' EXIT # 設定項目 API_URL="${API_URL:-https://api.example.com/v1/massive-logs}" LOG_FILE="/var/log/json_parser.log" echo "INFO: Starting JSON stream processing..." >&2 # [処理部] # curl: -s (静音), -L (リダイレクト追従), --retry (リトライ) # jq: -c (各オブジェクトを1行に凝縮) # awk: POSIX準拠のステートマシンによるパース curl -sL --retry 3 "${API_URL}" | \ jq -M -c '.[]' | \ awk ' BEGIN { FS = "[:,]" # フィールドセパレータの設定 } { # 簡易SAXステートマシン実装 for (i = 1; i <= NF; i++) { # 文字列クリーンアップ gsub(/[{} "\[\]]/, "", $i) # 特定のキーを見つけた場合のイベントハンドラ if ($i == "status") { status_val = $(i+1) if (status_val == "error") { print "ALERT: Error status detected in stream: " status_val } } if ($i == "id") { id_val = $(i+1) # 抽出したIDを処理 print "PROCESS_ID:" id_val } } } ' >> "${LOG_FILE}" </pre> </div> <h3 class="wp-block-heading">システム常駐化 (systemd Timer)</h3> <p>定期的（例：5分毎）に実行するためのユニットファイル例。</p> <div class="codehilite"> <pre data-enlighter-language="generic"># /etc/systemd/system/json-stream-parser.service [Unit] Description=Stream JSON Parser Service [Service] Type=oneshot ExecStart=/usr/local/bin/json-stream-parser.sh Environment="API_URL=https://api.internal/stream" User=parser-user # /etc/systemd/system/json-stream-parser.timer [Unit] Description=Run JSON Stream Parser every 5 minutes [Timer] OnCalendar=*:0/5 Persistent=true [Install] WantedBy=timers.target </pre> </div> <h2 class="wp-block-heading">【検証と運用】</h2> <h3 class="wp-block-heading">正常系の確認</h3> <p>スクリプトを手動実行し、ログファイルに出力があるか確認します。</p> <div class="codehilite"> <pre data-enlighter-language="generic">tail -f /var/log/json_parser.log </pre> </div> <h3 class="wp-block-heading">エラー確認</h3> <p><code>systemd</code> を使用している場合は、<code>journalctl</code> でパイプラインのエラーコードを確認します。</p> <div class="codehilite"> <pre data-enlighter-language="generic">journalctl -u json-stream-parser.service -f </pre> </div> <h2 class="wp-block-heading">【トラブルシューティングと落とし穴】</h2> <ol class="wp-block-list"> <li><p><strong>エスケープ文字の扱い</strong>: POSIX <code>awk</code> では複雑なJSONエスケープのデコードが困難です。高度な文字列処理が必要な場合は、<code>jq</code> の <code>--raw-output</code> を前段に挟んで正規化してください。</p></li> <li><p><strong>パイプラインの詰まり</strong>: <code>curl</code> がハングした場合に備え、<code>--max-time</code> または <code>timeout</code> コマンドの併用を検討してください。</p></li> <li><p><strong>環境変数の保護</strong>: APIキーなどを含む場合は、スクリプト内にハードコードせず、<code>systemd</code> の <code>EnvironmentFile</code> もしくはシークレット管理ツールから注入してください。</p></li> </ol> <h2 class="wp-block-heading">【まとめ】</h2> <p>運用の冪等性と堅牢性を維持するための3つのポイント：</p> <ol class="wp-block-list"> <li><p><strong>シグナルハンドリング</strong>: <code>trap</code> を用い、異常終了時でも一時ファイルやロックファイルを確実に掃除する。</p></li> <li><p><strong>ストリーム処理の徹底</strong>: メモリ消費を「入力サイズ」ではなく「オブジェクト単体のサイズ」に依存させる。</p></li> <li><p><strong>エラー伝播の可視化</strong>: <code>set -o pipefail</code> を活用し、パイプライン上流の失敗を無視せず確実にジョブを失敗させる。</p></li> </ol>

graph TD
A["Remote API / Huge JSON"] -->|curl stream| B["jq -c ."]
B -->|Tokenized Stream| C["POSIX awk SAX Parser"]
C -->|Extracted Data| D["Storage / Log / Metrics"]
C -->|Error Handling| E["Error Logs"]

#!/bin/sh


# set -eu: エラー時に停止、未定義変数を禁止


# pipefail: パイプライン途中のエラーを拾う

set -eu

# 一時ファイルの確実な削除

TMP_DIR=$(mktemp -d)
trap 'rm -rf "$TMP_DIR"' EXIT

# 設定項目

API_URL="${API_URL:-https://api.example.com/v1/massive-logs}"
LOG_FILE="/var/log/json_parser.log"

echo "INFO: Starting JSON stream processing..." >&2

# [処理部]


# curl: -s (静音), -L (リダイレクト追従), --retry (リトライ)


# jq: -c (各オブジェクトを1行に凝縮)


# awk: POSIX準拠のステートマシンによるパース

curl -sL --retry 3 "${API_URL}" | \
jq -M -c '.[]' | \
awk '
BEGIN {
    FS = "[:,]"  # フィールドセパレータの設定
}
{

    # 簡易SAXステートマシン実装

    for (i = 1; i <= NF; i++) {

        # 文字列クリーンアップ

        gsub(/[{} "\[\]]/, "", $i)

        # 特定のキーを見つけた場合のイベントハンドラ

        if ($i == "status") {
            status_val = $(i+1)
            if (status_val == "error") {
                print "ALERT: Error status detected in stream: " status_val
            }
        }

        if ($i == "id") {
            id_val = $(i+1)

            # 抽出したIDを処理

            print "PROCESS_ID:" id_val
        }
    }
}
' >> "${LOG_FILE}"

# /etc/systemd/system/json-stream-parser.service

[Unit]
Description=Stream JSON Parser Service

[Service]
Type=oneshot
ExecStart=/usr/local/bin/json-stream-parser.sh
Environment="API_URL=https://api.internal/stream"
User=parser-user

# /etc/systemd/system/json-stream-parser.timer

[Unit]
Description=Run JSON Stream Parser every 5 minutes

[Timer]
OnCalendar=*:0/5
Persistent=true

[Install]
WantedBy=timers.target

tail -f /var/log/json_parser.log

journalctl -u json-stream-parser.service -f