PythonのCSVで列が増えたら値がずれる?DictReaderのrestkeyで異常行を検出する

Python

この記事について
この記事は、生成AIを活用した自動生成フローで作成しています。Python公式のcsv.DictReaderの仕様をもとに、列が多い行と列が足りない行を区別する方法を整理しました。サンプルコードの実行と実際の業務CSVでの動作は未確認です。

検証ステータス:📘 公式仕様を参照・掲載コードの実行は未確認

CSVを辞書として読むとき、見出しより値が多い行をそのまま処理すると、余った値を見落とすおそれがあります。Pythonのcsv.DictReaderには、見出しに対応しない余分な値をrestkeyで指定したキーにまとめる仕組みがあります。余分な列が見つかった行を止めて確認することで、列のずれを黙って受け入れない入力処理にできます。

どんなときに困るのか

たとえば担当者が毎朝、取引先から届いたCSVを読み込んで、商品コードと数量を集計するとします。期待する列はitem,qtyの2つです。ところが一部の行だけA001,3,至急のように3つの値が入っていることがあります。最後の至急は新しい項目なのか、区切り文字が紛れ込んだのか、この行だけでは判断できません。

ここでrow["item"]とrow["qty"]だけを使ってしまうと、余分な値を無視して正常に処理できたように見えます。結果として、入力ファイルの形式が変わったことに気付かないまま集計が進みます。重要なのはCSVを読み込めるかどうかではなく、期待した列構造と一致しているかを処理前に確かめることです。

対象環境と準備

対象はPython 3の標準ライブラリcsvです。追加パッケージやネットワーク接続は不要です。以下では実ファイルを変更せず、プログラム内に用意した架空の文字列を読みます。Windows、macOS、Linuxのいずれでも試せる構成ですが、OS別の実機確認はしていません。Pythonを起動できる環境で、サンプルをcheck_csv.pyとして保存して実行してください。

まずは3行を比較する

次のコードは、正常な行、余分な値がある行、値が足りない行を順に読みます。restkeyを_extra、restvalをNoneに指定して、2種類の異常を区別します。

import csv
import io

sample = """item,qty
A001,3
A002,5,urgent
A003
"""

reader = csv.DictReader(
    io.StringIO(sample),
    restkey="_extra",
    restval=None,
)

for line_no, row in enumerate(reader, start=2):
    if "_extra" in row:
        print(f"line {line_no}: EXTRA {row['_extra']!r}")
    elif row["qty"] is None:
        print(f"line {line_no}: MISSING qty")
    else:
        print(f"line {line_no}: OK {row['item']} qty={row['qty']}")

期待される表示例(未実行)

line 2: OK A001 qty=3
line 3: EXTRA ['urgent']
line 4: MISSING qty

2行目は見出しと同じ2列です。3行目には3つ目の値があるため、_extraというキーに['urgent']が入ります。4行目はqty列に対応する値そのものが存在しないので、restval=NoneによってNoneになります。出力のline 2は見出しを1行目として数えたサンプルの行番号です。CSVの値に改行を含む場合、論理レコード番号と物理行番号は一致しないことがあるため、実務でこの表示をファイルの正確な物理行番号と決めつけないでください。

restkeyとrestvalは何をしているのか

DictReaderは最初の行を見出しとして扱い、以降の各レコードを列名から値への辞書にします。見出しの数より値が多いときは、残った値のリストがrestkeyに対応するキーへ入ります。値が足りないときは、不足した見出しにrestvalの値を入れます。どちらも「不正なCSVを自動で修正する」機能ではありません。構造上の差を呼び出し側が観察できるようにする仕組みです。

restkeyを指定しない場合、余った値は通常Noneキーに入ります。これを知らずに、見出しにあるキーだけ取り出すコードを書くと異常を見逃します。専用の_extraを使うと意図が明確になります。ただし、入力CSVに元から_extraという見出しがあると衝突します。本番では見出しを先に検査し、予約したキー名と重ならないようにしてください。

restval=Noneと空欄も区別が必要です。A003,という行には2つ目の列が存在するため、qtyは空文字列""になります。一方、A003には2列目自体がないためNoneになります。空欄を0とみなしてよいかどうかは業務ルールで決めるべきであり、DictReaderが自動で数値へ変換するわけではありません。

1か所だけ変更してみる

サンプルの最後のA003をA003,に変えて、もう一度実行してください。今度は最後の行がMISSING qtyではなくOK A003 qty=のように表示されるはずです。ここで分かるのは、列不足の検出と空文字列の検出は別の判定だということです。数量が必須なら、row["qty"] is Noneに加えてrow["qty"] == ""も異常として扱います。

さらにA002,5,urgentをA002,5に戻せば、EXTRAの表示は消えるはずです。余分な列が単なる備考なのか、CSVを出力するシステムの仕様変更なのかは、プログラムだけでは判定できません。入力仕様書や送信元の変更履歴と照合することが大切です。

実務で使うなら、処理を進める前に止める

業務バッチでは、検査と本処理を分離する方法が安全です。まず見出しが["item", "qty"]と一致するかを確認し、各行で余剰列・不足列・空欄・数値変換エラーを記録します。異常があれば件数と該当レコードを隔離し、データベース更新やメール送信などの後続処理を開始しない設計にします。CSVの値をそのままログへ大量出力すると個人情報や機密が混ざる可能性があるため、検査ログには行識別子とエラー種別だけを残す方が適切です。

たとえば数量を整数として扱うなら、構造検査を通過した後でint(row["qty"])を実行し、ValueErrorを別の入力不正として扱います。値が-1や999999でも整数変換は成功するので、許容範囲の確認はさらに別です。「CSVとして読めた」「列数が合う」「値が業務上正しい」は、それぞれ異なる段階の合格条件です。

失敗したときの切り分け

KeyError: 'qty'が出る場合は、そもそも見出しにqtyが存在するかを確認します。大文字小文字、前後の空白、UTF-8 BOMなどが原因で想定と違う見出しになることがあります。実ファイルを読む場合は文字コードを確認し、必要に応じてencoding="utf-8-sig"を検討してください。ただし、文字化けを根拠なく一律にBOMのせいにしないでください。

値にカンマを含む場合、"A,001",3のように適切に引用されたCSVなら、csvは引用符を考慮して区切りを解釈します。反対にA,001,3と書かれた場合、3列と判定されても、元の意図が商品コードA,001だったかどうかは復元できません。引用符や区切り文字の仕様を送信元と合わせる必要があります。

実ファイルの読み込みではopen(path, newline="", encoding="utf-8")のようにnewline=""を指定することがPython公式の推奨です。今回のio.StringIOの例はディスク上のCSVを変更しませんが、実務に移す際は入力の改行、文字コード、見出し、データ型を一つずつ確認してください。

判断のポイント

restkeyは余った値を消すためではなく、見出しとデータの形が一致していないことを発見するために使います。余剰列を見つけたら自動補正よりも、いったん処理を止めて仕様を確認する方が安全な場合があります。とくに請求・在庫・取引データでは、1件の列ずれが集計全体へ影響するためです。まず架空の3行で異常を再現し、列不足・空欄・余剰列を区別できることを確認してから、実データへの適用範囲を決めてください。

参考資料

公式仕様を参考にした説明です。掲載コードの実行、業務データの検証、WordPress上での表示確認は行っていません。

文書情報

記事タイトル
PythonのCSVで列が増えたら値がずれる?DictReaderのrestkeyで異常行を検出する
作成日
更新日
Source URL
https://papanda925.com/?p=18632

ライセンス: 本記事のうち、当サイトが権利を有する本文・自作図表は、特記なき限り CC BY 4.0 で利用できます。生成AIを活用して作成・編集した内容を含みます。コードについて、別途ライセンス表示またはリンク先GitHubリポジトリのライセンスがある場合は、その条件を優先します。引用・第三者資料・画像・商標等は本ライセンスの対象外です。 利用ポリシー

タイトルとURLをコピーしました