この記事について
この記事は、生成AIを活用した自動生成フローで作成しています。Python公式のcsvとioの仕様を根拠に、CSVの文字コードと改行の問題を安全な架空データで切り分ける方法を整理しました。掲載コードは実行結果を別途確認するまで未検証として扱います。検証ステータス:📘 公式仕様を参照・掲載コードの実行は未確認
PythonのCSVで空行が増える?newlineと文字コードを安全に切り分ける
CSVをPythonで書き出し、表計算ソフトで開いたら行と行の間に空白行が入った。あるいは日本語の見出しだけ文字化けした。どちらも「CSVが壊れた」と表現されがちですが、原因は別です。改行の扱いはファイルの読み書きとcsvモジュールの役割分担に関係し、日本語の表示は文字コードと読み手の解釈に関係します。最初から一緒に直そうとすると、直った理由が分からなくなります。
、業務データを使わずにCSVを生成し、書いた内容を同じPythonで読み戻すところから始めます。その後、改行と文字コードをそれぞれ一条件だけ変えます。改行入りのセルやnewlineの基本的な扱いに加えて、ここではUTF-8のBOMの有無をバイト列で確認することも重点に置きます。実際のExcelや共有フォルダーの設定を変更する必要はありません。
対象環境と安全な準備
対象はPython 3.10以降の標準ライブラリです。Windows、macOS、Linuxで利用できる考え方ですが、OSと表計算ソフトの組合せによる見え方はこの記事だけでは保証しません。追加パッケージ、管理者権限、ネットワーク接続は不要です。実験用ファイルはtempfile.TemporaryDirectoryで作り、処理が終われば片付けます。
ここで扱うCSVは、氏名や取引番号のような実情報を含みません。表計算ソフトで開く前の検査を想定しているため、まずはPythonでの読み戻し結果を正とします。実際の表計算ソフトでの表示確認は別工程です。
まず、書いて読み戻す
次のコードでは、ヘッダーを含む3行をCSVへ書き込みます。newline=""を指定し、改行の制御をcsv.writerに任せる点が重要です。encoding="utf-8"はファイルに格納する文字の符号化方式を指定しています。
import csv
import tempfile
from pathlib import Path
rows = [
["商品", "数量"],
["りんご", "2"],
["みかん", "3"],
]
with tempfile.TemporaryDirectory() as work:
path = Path(work) / "sample.csv"
with path.open("w", encoding="utf-8", newline="") as file:
writer = csv.writer(file)
writer.writerows(rows)
with path.open("r", encoding="utf-8", newline="") as file:
actual = list(csv.reader(file))
print("一致:", actual == rows)
print("行数:", len(actual))
print("内容:", actual)
print("生バイト末尾:", path.read_bytes()[-4:])
期待結果は一致: True、行数: 3です。内容はヘッダー、りんご、みかんの3行となります。末尾のバイト列には改行コードが含まれます。CSVの標準的な書き出しではcsv.writerが行の終端を付けるため、テキストファイル側で改行を重ねて変換しないことがポイントです。
「3行」というのはCSVの論理レコード数です。テキストエディターで見える物理行数と必ず一致するとは限りません。例えば、引用符で囲まれたセルの中に改行を含むCSVは、物理行が増えてもレコード数は増えない場合があります。単純な行数比較だけで異常と判断しない理由です。
なぜnewlineを空文字にするのか
Python公式のcsvモジュール文書では、ファイルオブジェクトを渡す際にnewline=''を使う例が示されています。書き込み側のcsv.writerでも同様です。csvは引用符やフィールド区切りに加え、CSVとしての行末を扱います。一方、テキストモードのopenには改行変換の機能があります。
両者が同時に改行を加工すると、特にWindowsでは余分な復帰文字が混入する原因になります。そこでnewline=""により、テキスト層の改行変換を抑え、CSV側に任せます。これは「改行を一切書かない」という意味ではありません。CSVのレコード区切りは引き続き出力されます。
重要なのは、ファイルを作った環境と、ファイルを開く環境の区別です。Linuxで正常に見えたからWindowsでも同じとは断定できません。逆に、Excelで空白行が見えたというだけで、Pythonが論理的に余計なレコードを書いたとも断定できません。まずはバイト列とCSV読み戻しの両方を見ることで、調査範囲を狭めます。
一条件だけ変える:改行を指定しない
同じコードから書き込み側のnewline=""だけを外して試してください。Windowsではテキスト層による改行変換が加わり、期待しない改行バイト列になる可能性があります。ただし、OSや実行環境で結果が異なるため、すべての環境で必ず空行が増えるとは書けません。
変化を確認するときは、単に表計算ソフトで開くのではなく、path.read_bytes()で実際のバイトを見てください。\rは復帰、\nは改行を表します。\r\nと\r\r\nは違う列です。後者が現れた場合は、改行処理が二重になっていないかを疑う手掛かりになります。バイトの観察は、表示アプリケーションの解釈とファイルの実体を切り離す方法です。
なお、既存のCSVを直接上書きして比較するのは避けます。特に業務の受け渡しファイルは、改行だけでなくヘッダー順、引用符、区切り文字、文字コードも相手の取り込み処理と契約になっているからです。
日本語が文字化けする場合は別に調べる
改行が正常でも、表計算ソフトで「りんご」が読めないことがあります。これは行の数とは別問題です。encoding="utf-8"で書いたバイト列を、読み手が別の文字コードとして解釈すると、同じデータでも違う文字に見えます。Pythonで同じUTF-8を指定して読み戻せるなら、少なくともPython内の往復処理では文字列が保たれています。
UTF-8のBOMを要求する受け手に合わせる場合は、encoding="utf-8-sig"を検討できます。Python公式のコーデック一覧にあるutf-8-sigは、書き込み時にUTF-8のBOMを付ける方式です。ただし、BOMを付ければあらゆるExcelや外部システムで正しく読める、という保証ではありません。受け手がBOMをデータとして扱う場合もあるため、納品仕様を先に確認してください。
文字コードの調査は、同じサンプルをutf-8とutf-8-sigで別ファイルに書き、先頭3バイトを比較すると理解しやすくなります。utf-8-sigでは通常EF BB BFが先頭に現れます。改行条件は固定し、文字コードだけ変えることが重要です。二つを同時に変えると、どちらが表示の差を生んだか分からなくなります。
短い比較用コードでは、内容が同じ二つのファイルを一時ディレクトリーに作り、UTF-8とUTF-8-SIGの先頭3バイトだけを比べます。実際に採用すべき形式は受け取り側の仕様で判断し、BOMの有無だけで文字化けが必ず解消すると決めつけないでください。
from pathlib import Path
from tempfile import TemporaryDirectory
with TemporaryDirectory() as work:
plain = Path(work) / "plain.csv"
bom = Path(work) / "bom.csv"
text = "品目,数量\nりんご,2\n"
plain.write_text(text, encoding="utf-8")
bom.write_text(text, encoding="utf-8-sig")
print("UTF-8 BOM:", plain.read_bytes().startswith(b"\xef\xbb\xbf"))
print("UTF-8-SIG BOM:", bom.read_bytes().startswith(b"\xef\xbb\xbf"))
この補足コードについてはPython 3の隔離環境でUTF-8 BOM: False、UTF-8-SIG BOM: Trueを確認しました。最初のCSV読み書きコードや、Windows・Excelでの表示は未実行・未確認です。
失敗したときの切り分け
UnicodeDecodeErrorが出た場合、読み込み側の文字コード指定と実ファイルの符号化方式が一致していない可能性があります。安易にerrors="ignore"で読み飛ばすと、文字が欠けても処理が進むため、重要な業務データには不向きです。入力ファイルの出所と納品仕様を確認し、正しい文字コードを指定します。
PermissionErrorなら、保存先のアクセス権や他プロセスによる利用を確認します。FileNotFoundErrorなら、想定するパスや実行ディレクトリーが違っていないか調べます。CSVの構造の問題ではないため、区切り文字を変えても解決しません。
読み戻しで列数が変わる場合は、改行よりも引用符や区切り文字を疑います。セル内にカンマがある場合、csv.writerは必要に応じて引用符を付けます。自分で文字列をカンマ結合して出力すると、引用符の規則を破ることがあります。文字化け、余計な空行、列ずれを一括りにせず、症状から調査することが重要です。
仕事で使うなら、受け手との約束を記録する
業務のCSV連携では、送り手のPythonが読み戻せたことは必要な確認の一つですが、それだけでは十分ではありません。受け手がWindowsの表計算ソフトなのか、Linuxのバッチなのか、外部ベンダーの取り込み機能なのかによって、求められる仕様が異なります。
受け渡し仕様には、文字コード、BOMの有無、改行コード、ヘッダーの有無、列順、区切り文字、引用符の扱い、空欄とNULLの区別を明記します。更新する際は本番ファイルを直接上書きせず、架空データで送信側と受信側の両方を試し、差分を記録します。読み込み失敗時に前回の正常データへ戻せる運用も用意してください。
特に、Excelで開いて保存し直す工程を挟むと、日付や先頭ゼロ、数値らしい文字列が変換されることがあります。CSVは見た目の表ではなくテキストデータです。開いて見た結果だけでなく、保存前後のファイル内容を比較することが誤変換を見つける近道です。
結論として、空白行なら改行、文字化けなら文字コード、列ずれならCSVの引用規則を最初の仮説にします。原因を決めつけず、同じ架空入力を一条件ずつ変えて確かめる。この順番を守れば、受け渡しのトラブルを小さく再現し、相手先にも説明しやすくなります。
公式情報
ライセンス
本記事のうち、当サイトが権利を有する本文・自作図表は、特記なき限り CC BY 4.0 で利用できます。生成AIを活用して作成・編集した内容を含みます。コードについて、別途ライセンス表示またはリンク先GitHubリポジトリのライセンスがある場合は、その条件を優先します。引用・第三者資料・画像・商標等は本ライセンスの対象外です。
