CSVの文字化けはBOMが原因？Pythonで先頭3バイトから調べる

この記事について
この記事は、生成AIを活用した自動生成フローで作成しています。Python標準ライブラリの文字コード仕様とCSVの取り扱いをもとに、UTF-8 BOMを安全に調べる手順を整理しました。

検証ステータス：📘 公式仕様確認済み・掲載コードの実機実行は未確認

CSVをExcelで開いたら日本語が文字化けした。そんなとき、いきなり「UTF-8 BOMがないから」と決めつけるのは早計です。先頭3バイトを調べればUTF-8 BOMの有無は分かりますが、BOMがないことだけでは文字化けの原因は確定しません。 実際の文字コード、開き方、区切り文字を分けて調べるのが近道です。

まず3バイトを観察する

UTF-8のBOM（Byte Order Mark）は、ファイル先頭に置かれる3バイトの目印です。16進数では EF BB BF です。Pythonでは codecs.BOM_UTF8 という定数で比較できます。

以下は sample.csv というファイルを読み取るだけの例です。ファイル名を自分の検査用コピーに置き換えてください。

from pathlib import Path
import codecs

path = Path("sample.csv")
with path.open("rb") as f:
    first_three = f.read(3)

print("先頭3バイト:", first_three.hex(" ").upper())
print("UTF-8 BOMあり:", first_three == codecs.BOM_UTF8)

BOM付きUTF-8なら EF BB BF と True、BOMなしUTF-8の一般的なCSVなら別の3バイトと False が表示される想定です。ただし、ファイルが3バイト未満でもエラーにはならず、読み取れた分だけ比較します。これは仕様から導いた期待値であり、執筆時に実行したログではありません。

観察結果から何が言える？

BOMはファイルの先頭にある識別子で、文字列全体の正当性を保証するものではありません。BOMがなくてもUTF-8は正常に使えます。反対に、BOMがあっても途中に不正なバイト列が混入している可能性はあります。

次にUTF-8として読めるかを確かめる

BOMの有無とは別に、デコードできるかを確認します。まずはUTF-8として厳密に読み、問題があれば例外を表示します。

from pathlib import Path

path = Path("sample.csv")
raw = path.read_bytes()

try:
    text = raw.decode("utf-8-sig", errors="strict")
    print("UTF-8としてデコード可能")
    print("先頭の内容:", repr(text[:80]))
except UnicodeDecodeError as error:
    print("UTF-8としてデコード不可:", error)

utf-8-sig は先頭にUTF-8 BOMがあれば読み飛ばし、なければ通常のUTF-8として読みます。BOMを削除して元ファイルへ上書きする処理ではありません。

ここで成功しても、「元の日本語が意図どおりである」ことまでは保証しません。例えば、すでに別の文字コードとして誤って変換された文字列がUTF-8で保存されていれば、デコードは成功しても内容が壊れていることがあります。必ず日本語の列名と数行の値を目視確認してください。

CSVとして読むときはnewlineにも注意

文字コードを確かめたら、CSVの解析は文字列の split(",") ではなく csv.reader を使います。引用符内のカンマや改行を扱うためです。

import csv

with open("sample.csv", "r", encoding="utf-8-sig", newline="") as f:
    reader = csv.reader(f)
    for index, row in enumerate(reader):
        print(row)
        if index >= 4:
            break

これは先頭5行を確認するための読み取り例です。CSVの区切り文字がタブやセミコロンの場合は csv.reader(f, delimiter="\t") など、実ファイルの仕様に合わせて変更します。行の先頭に \ufeff が見える場合、BOMを文字として読み込んでいないか確認します。

1か所変える：utf-8 と utf-8-sig を比較

同じファイルを encoding="utf-8" と encoding="utf-8-sig" で開き、最初のヘッダー文字列を比較してください。BOM付きファイルでは、前者は先頭のU+FEFFを文字として残す一方、後者はBOMを取り除いて読み込みます。BOMなしUTF-8なら通常どちらも同じ内容になります。

ただしExcelなどのアプリケーションがCSVをどう判定するかは、製品のバージョンやインポート方法によって変わります。BOMの追加だけでどの環境でも文字化けが解消するとは断定できません。Excelではファイルをダブルクリックする方法と、データ取り込み時に文字コードを明示する方法を分けて確認します。

失敗した場合の切り分け

業務ファイルは必ずコピーで検証してください。個人情報を含むCSVをオンライン変換サイトへアップロードしないことも大切です。文字コード変換は情報を失う場合があるため、原本・変換後・変換条件を分けて保存し、列数や件数、日本語の代表値を比較してから利用します。

よくある誤解

Q. BOMなしならUTF-8ではない？ いいえ。UTF-8ではBOMは必須ではありません。

Q. BOMがあればExcelで必ず正しく開く？ いいえ。アプリケーション、バージョン、読み込み方法やCSVの内容に依存します。

Q. Shift_JISと判定できる？ 先頭3バイトだけではできません。元システムの仕様を調べ、代表的な日本語とデコード結果を確認します。日本語Windowsで使われるCP932と規格上のShift_JISも同一ではありません。

図で理解する：BOMが分かった後も調査は続く

CSVの先頭3バイトがEF BB BFなら、UTF-8のBOMが付いていると判断できます。ただし、その後ろのデータがすべて正しいUTF-8であることを証明するわけではありません。逆にBOMがなかったとしても、UTF-8ではないと決まったわけではありません。最初の観察で分かることと、まだ分からないことを分けて考えると、原因を誤認しにくくなります。

flowchart TD
    A["元CSVのコピーを用意"] --> B["先頭3バイトを読む"]
    B --> C{"EF BB BFか"}
    C -->|"はい"| D["UTF-8 BOM付きとして厳密に復号"]
    C -->|"いいえ"| E["UTF-8として厳密に復号"]
    D --> F{"文字として読めたか"}
    E --> F
    F -->|"はい"| G["列名・日本語の値・CSVの構造を比較"]
    F -->|"いいえ"| H["作成元の文字コード仕様を確認"]
    G --> I["Excel等の取り込み方法を調べる"]
    H --> I
    I --> J["根拠に基づき設定・変換を判断"]

図の中で「復号できた」という分岐は「意味の正しい日本語に戻った」とは異なります。以前の処理で既に文字化けした文字列がUTF-8として保存されている場合、デコード自体は成功しても元の意味は復元されません。実務では列名・件数・代表的な値を元システムの出力と比較する必要があります。

自分で作る2種類のCSVで違いを観察

業務で受け取った顧客データを教材にする必要はありません。架空の品物と数量だけを使い、内容が同じBOM付き・BOMなしの2ファイルを作れば、先頭バイトとデータ内容の違いを安全に比較できます。次のコードはファイルを新規作成する例で、同名ファイルが存在するときは上書きしないようにしています。掲載コードは今回新たに実行しておらず、結果は予想です。

from pathlib import Path

text = "商品,数量\n青りんご,2\nみかん,3\n"
plain = Path("sample-utf8.csv")
bom = Path("sample-utf8-bom.csv")

for path in (plain, bom):
    if path.exists():
        raise FileExistsError(f"同名のファイルがあります: {path}")

plain.write_bytes(text.encode("utf-8"))
bom.write_bytes(text.encode("utf-8-sig"))
for path in (plain, bom):
    data = path.read_bytes()
    print(path.name, data[:3].hex(" ").upper(), len(data))

この例では両方のCSVをUTF-8として扱える一方、BOM付き側は先頭に3バイトの目印が付くため、改行や本文が完全に同じならファイルサイズが3バイト大きいはずです。日本語の文字が画面上では一文字でも、UTF-8では複数バイトで表現されることがあります。したがって、ファイル全体のバイト数と画面上の文字数は別の値です。結果を比較するときは「内容」「文字数」「バイト数」を区別します。

ではBOMがあればExcelで必ず正しく開けるでしょうか。そうとは限りません。ダブルクリックして開く場合と、データ取り込み画面で文字コードを指定する場合では、読み込み条件が異なることがあります。またExcelのバージョンや設定によっても挙動が違うため、どの操作で期待した表示になったかを記録する必要があります。

文字化けと「列がずれる」は別の故障

日本語の表示だけが壊れる場合と、日本語は読めるのに列が右へずれる場合とでは、調べる箇所が異なります。CSVでは引用符で囲んだフィールドの中にカンマや改行を含められるため、文字列を単純にカンマで分割する処理では正しく読み取れないことがあります。先頭3バイトを調べても、区切り文字・引用符の規則までは分かりません。

例えば架空のセルに「東京,品川」と書かれていて引用符で囲われている場合、その中のカンマは列の境界とは限りません。文字コードを正しく指定していても、引用符の解釈を誤れば列数が合わなくなります。Pythonのcsv.readerならCSVとしての解釈を行えますが、取り込むファイルが使う区切り文字などの条件は元システムの仕様と照合する必要があります。

業務で受け渡すとき、取り決めておきたいこと

CSVの運用では、ファイル名が同じでも内容の形式が変わることがあります。作成元と受信先で、文字コード、BOMの有無、改行、区切り文字、引用符、ヘッダーの有無を取り決めると、障害調査が速くなります。文字化けが起きた場合は原本を残し、どのソフト・どの操作で開くと現象が出たか記録します。

受信側が複数の文字コードを順に試すプログラムは便利に見えますが、誤った文字コードでも偶然デコードできてしまう場合があります。見た目だけで正しいと判定せず、重要なデータでは元システムの仕様と代表的な値を確認します。変換が必要なら変換後の列名・件数・日本語サンプルを照合してから利用します。

秘密情報や顧客データを含むCSVをオンラインの文字化け診断サイトに送ることは避けます。まず自分の端末で読み取り専用の調査を行い、架空データで再現できる条件を整理するのが安全です。「BOMがないから」という一言で終わらせず、文字コードとCSVの構造、読み込みアプリの設定を切り分けることが実務で役立ちます。

まとめ

CSVの文字化けを調べるときは、最初に先頭3バイトのBOM有無を観察し、次に厳密なデコードと内容の確認、最後にCSVの列構造とアプリ側の読み込み方法を切り分けます。原因を特定する前に元ファイルを上書きしないことが、実務での最大の安全策です。

公式情報・一次資料

• Python codecs：BOM定数とutf-8-sig

• Python csv：newline指定とreader

• Python Unicode HOWTO：エンコードとデコード

※ 本文の実行例は公式仕様をもとに作成したもので、特定のWindows・Excel環境での成功を保証するものではありません。