Pythonで文字化けしたログを読む:errors=”replace”で隠してはいけない異常とは?

Python

この記事について
この記事は、生成AIを活用した自動生成フローで作成しています。Python公式ドキュメントの文字コード・ファイル入出力仕様をもとに、架空のログを使った確認手順を説明します。

検証ステータス:Pythonの公式仕様とサンプルコードの処理を照合しました。掲載コードを今回の環境で実行した結果や、実際の業務ログでの動作はまだ確認していません。

読めたように見えるログが、調査を誤らせる

障害調査で受け取ったログをPythonで開くと、UnicodeDecodeError が発生することがあります。「とにかく画面に表示したい」と errors="replace" を追加すると、処理が続くようになります。しかし、表示できたことと、元の文字列を正しく復元できたことは同じではありません。文字化けした箇所が、ユーザー名、ファイル名、エラーの原因を示す重要な値だった場合、置換後のログを根拠に判断すると誤認につながります。 、まず読み取りに失敗することを確認し、次に置換して読んだ場合の変化を観察します。最後に「調査用の表示」と「原本の保全」を分ける方法を考えます。対象はPython 3の標準ライブラリで、外部サービス、管理者権限、追加パッケージは不要です。実際の機密ログを教材としてコピーする必要もありません。

まずは架空の不正バイトを含むログを作る

以下は一時ディレクトリに架空ログを作り、UTF-8として厳密に読み取った結果と、置換を許して読み取った結果を比べる例です。既存ファイルを変更せず、処理が終わると作業用ファイルは削除されます。

from pathlib import Path
from tempfile import TemporaryDirectory

with TemporaryDirectory() as work:
    path = Path(work) / "sample.log"
    path.write_bytes(b"INFO start\nERROR user=\xff\nINFO end\n")

    try:
        path.read_text(encoding="utf-8", errors="strict")
    except UnicodeDecodeError as exc:
        print("strict: 読み取り失敗", type(exc).__name__)

    text = path.read_text(encoding="utf-8", errors="replace")
    print("replace: 置換文字の数", text.count("\ufffd"))
    print("replace: 行数", len(text.splitlines()))
    print("replace: ERROR行", [line for line in text.splitlines() if "ERROR" in line])

期待される表示(今回の実行結果ではありません):

strict: 読み取り失敗 UnicodeDecodeError
replace: 置換文字の数 1
replace: 行数 3
replace: ERROR行 ['ERROR user=�']

先頭と末尾のINFO行は読めても、ERROR行の user= に続く1バイトはUTF-8の正しい文字として解釈できません。厳密な読み取りでは例外を返します。一方、replace は復号できない部分を置換文字「�」で表示します。つまり、プログラムが停止しない代わりに、元の値はその表示からは復元できなくなります。置換文字が1個だから不正バイトが必ず1個、という一般則もありません。符号化方式と壊れ方によって置換の単位が変わります。

strictとreplaceをどう使い分けるか

encoding="utf-8" は、ファイル内のバイト列をUTF-8として文字列に変換する指定です。errors は変換できないバイト列を見つけたときの扱いです。既定の strict は例外を発生させます。replace は復号できない部分を置換文字で埋めて処理を続けます。どちらが正しいかは、何を確かめたいかで変わります。

例えば「ログの時刻とERRORの件数をざっと確認する」という一次調査では、置換文字の存在を明示したうえで replace を使う意味があります。しかし「利用者IDが何だったか」「異常なファイル名が何だったか」を証拠として残す場合は、置換後の文字列だけを保存してはいけません。元のバイト列を保持し、どの文字コードで書かれたかを確認する必要があります。

また、UnicodeDecodeError は必ずしもファイル破損を意味しません。UTF-8ではない文字コードで保存された正常なファイルを、UTF-8と決めつけて開いている可能性もあります。文字コードの自動判定だけで原因を断定せず、出力元アプリケーションの設定、転送方法、ファイルの作成環境を照合します。

条件を1つ変える:不正なバイトを正常なUTF-8へ

先ほどの write_bytes の行を次の1行へ変更します。ほかのコードは変えません。

path.write_bytes("INFO start\nERROR user=tanaka\nINFO end\n".encode("utf-8"))

この場合、strict は例外を発生させず、replace で読んでも置換文字の数は0になるはずです。ただし、例外処理の中にある「strict: 読み取り失敗」という表示自体がなくなるので、最初の実行例と出力行数は変わります。単に「例外が出なかった」ことは、データ内容が業務上正しいことまで保証しません。たとえば利用者IDの桁数や日時の形式は別途検査が必要です。

比較すると、strict は異常を見逃さないための入口、replace は不正な部分があると承知で全体像を見るための手段だと理解できます。用途が違うため、すべての読み取り処理を一律に replace へ変更するのは避けます。

実際の障害調査で迷ったときの切り分け

UnicodeDecodeError が出たら、まずエラーの位置とファイルの出所を記録します。元ファイルを上書きせず、読み取り専用の複製で調査します。元のバイト列の一部を確認するときも、実際の個人情報や認証情報をログ・画面共有・問い合わせに貼り付けないようにします。

次に、ログを書き出したプログラムの文字コード設定を調べます。Windows由来の古いテキストならUTF-8以外の符号化が関係することがありますが、「Windowsだから必ずこの文字コード」と決めつけるのは危険です。仕様が分かっているなら、その指定で複製ファイルを読み直します。UTF-8のBOMがあるかどうかも別の観察点であり、utf-8-sig はBOMの扱いに関係しますが、不正なバイトを万能に修復する設定ではありません。

replace で読んだ結果に「�」が出るなら、その行の重要なフィールドは未確定として扱います。検索や集計に使う場合は「置換を含む行数」と「除外・保留した行数」を別々に記録すると、正常データだけで算出した件数を全体件数と誤認しにくくなります。エラー行を黙って捨てると、障害の発生数そのものを過小評価する危険があります。

ファイルの一部だけが壊れている場合、通信途中の欠落、途中書込み、異なる文字コードの混在も考えられます。ただし、今回のサンプルだけでそれらの原因を実証したわけではありません。原因の確定には、元システムの出力仕様や転送ログとの突合せが必要です。

業務で使うときは原本と表示用データを分ける

運用監視の定期集計では、正常なログだけを集計した数字を「全ログの件数」として報告しない設計が重要です。例えば受信したファイルのバイト列を改変せず保全し、復号の成功・失敗を記録したうえで、表示用には replace を使う、という役割分担ができます。表示用の置換済みログを原本として再保存すると、後から別の文字コードで再解析する手掛かりを失う可能性があります。

ただし、原本保全にも注意が必要です。業務ログにはメールアドレス、トークン、端末名などが含まれることがあります。保存先のアクセス権、保存期間、共有範囲は組織のルールに従います。ここでの一時ファイルの例は、業務ログを外部へアップロードしてよいという意味ではありません。

この考え方は、CSV取込、監査ログ、バッチ処理の入力検査にも応用できます。「読めないから例外を消す」ではなく、「読めない事実を記録したうえで、どこまで表示するかを決める」。その区別が、後から検証できる障害調査につながります。

参考資料と確認範囲

本稿は公式仕様を参照して作成しました。掲載したPythonコードの今回の実行、Windows上の実ログでの検証、WordPress上の表示は未確認です。図は不要と判断しました。例では「バイト列→復号→例外または置換」の流れを短いコードと期待結果で直接比較できるためです。

文書情報

記事タイトル
Pythonで文字化けしたログを読む:errors=”replace”で隠してはいけない異常とは?
作成日
更新日
Source URL
https://papanda925.com/?p=18654

ライセンス: 本記事のうち、当サイトが権利を有する本文・自作図表は、特記なき限り CC BY 4.0 で利用できます。生成AIを活用して作成・編集した内容を含みます。コードについて、別途ライセンス表示またはリンク先GitHubリポジトリのライセンスがある場合は、その条件を優先します。引用・第三者資料・画像・商標等は本ライセンスの対象外です。 利用ポリシー

タイトルとURLをコピーしました