CSV行数不对?在Python中区分单元格内换行与逻辑记录

プログラミング・Web開発カテゴリを表すパンダのイラスト 编程・Web开发

关于本文本文是通过利用生成式AI的自动化生成流程创建的。参考Python标准库csv和io的官方规范,解释包含单元格内换行的虚构数据的计数方法。

验证状态:📘 已确认Python官方规范・所附代码未在实机上运行

CSV行数不对?在Python中区分单元格内换行与逻辑记录

用文本编辑器打开CSV有5行,但用Excel打开只有3条记录。当CSV单元格中包含换行符时,就会发生这种差异。由文件换行符分割的“物理行”与解析CSV引号得到的“逻辑记录”并不一定相同。通过Python的csv.reader读取结构,就可以在不破坏单元格内换行的情况下进行计数。

目标环境与本次成功条件

项目内容
目标Python 3 标准库 csv, io
数据虚构的咨询编号、负责人、备注
通信与权限无外部通信。无文件写入
成功条件显示物理行数与CSV记录数的区别
未确认实际在 Excel 中的显示,以及与各种 CSV 产品的兼容性

例如,假设从咨询管理中导出的 CSV 文件里,同一备注栏中记录了“回电”和“次日处理”。即使在界面上显示为单元格内的两行,文本文件中的换行符也只是多了一个。如果单纯按换行符的数量来统计咨询数量,报告中的数量就会变多,看起来就像是出现了重复或遗漏的咨询。

安全实验:在引号内加入换行符

首先不创建文件,只用 Python 的字符串来尝试。数据是两条虚拟的咨询记录。只有第二条记录的备注分为两行。字符串的第一行是表头。请在 Python 3 中运行以下代码。

import csv
import io

sample = 'id,担当,メモ\r\nA01,佐藤,受付済み\r\nA02,鈴木,"折返し連絡\n翌日対応"\r\n'
physical_lines = sample.splitlines()
records = list(csv.reader(io.StringIO(sample, newline="")))

print("物理行:", len(physical_lines))
print("CSVレコード:", len(records))
for number, record in enumerate(records, start=1):
    print(number, repr(record))

这段代码期望的物理行数是 4,CSV 记录数为 3。因为后者包含表头,所以实际的咨询数量为 2。显示的第二条备注中会保留代表换行的\n。这并不是行损坏了,而是意味着换行符被保留在了 CSV 的单个字段中。根据运行环境和显示方式的不同,字符的外观可能会有所变化,请确认数量和repr的显示。

这里重要的是,splitlines()并不是一个错误的函数。这个函数的作用是将文本拆分为行。另一方面,当你想统计咨询数量时,需要的是理解 CSV 结构的解析器。把目的不同的两个函数用同一个“行数”来混为一谈,就是产生误解的原因。

为什么只允许在引号内部换行

CSV 有一条规则:字段之间用逗号分隔,必要时用双引号括起来。在用引号括起来的字段内部,逗号和换行符也可以作为数据处理。Python 的csv.reader会按顺序读取字符,并区分当前位置是在引号内部还是外部。如果在外部发现了记录分隔符,则表示一条记录结束;如果在内部发现了换行符,则将其作为字段内容保留。

例如,在读取到A02,鈴木,"折返し連絡时,引号尚未关闭。即使紧接着出现换行符,也不会被判定为下一条咨询的开始。翌日対応"只有在读取了

并且引号关闭后到达记录分隔符,A02 的这条记录才算完成。在文本编辑器上看到换行与 CSV 记录的结束是两码事。

图示:哪个换行符决定了记录的终结

flowchart TD
    A[文字を読み取る] --> B{改行か}
    B -- いいえ --> C[フィールドを解析]
    B -- はい --> D{引用符の内側か}
    D -- はい --> E[セルの内容に保持]
    D -- いいえ --> F[レコードを確定]
    C --> A
    E --> A

下图仅聚焦于发现换行符时的判断。核心区别在于:如果在引号内部则追加到字段中,如果在外部则视为记录的终端。实际的解析器还有引号转义等其他附加规则。引用符の内側图中csv.reader这种状态在切断 CSV 进行处理时有时会丢失。即使在处理大文件时,如果把仅通过换行分割的片段单独传递给

只改一个条件:删除单元格内的换行符

接下来,请尝试将便签的折返し連絡\n翌日対応替换为折返し連絡/翌日対応并运行。这次更改的只有第二条便签中的一个换行符。物理行数应该变为3,CSV记录数也应该为3。查询的数量并没有改变。从“仅删除换行符,物理行数就减少了一行”这一观察结果可以看出,数量上的差异并非源于额外的查询,而是源于单个单元格的显示格式。

然而,不能把从原始数据中去除换行符作为生产环境的应对措施。自由文本栏中的换行符对于提高工作流程或与客户沟通的可读性具有重要意义。比起丢弃必要的信息,在统计侧正确解析CSV更为自然。如果由于其他系统的限制而必须将其合并为单行,则应在保存原始数据的同时就转换规则达成一致。

Python中指定newline很重要的原因

当读取实际文件时,正如Python官方文档所建议的那样,使用open(..., newline="")。newline=""的目的是不把换行符的自动转换交给文本输入输出层,而是让CSV模块适当地处理换行符。本次指定的io.StringIO也是出于同样的意图。由于它并没有指定自动判断CSV文件的字符编码,因此在处理实际文件时,encoding="utf-8"等目标字符编码也需要另外决定。

import csv

with open("sample.csv", "r", encoding="utf-8", newline="") as stream:
    reader = csv.DictReader(stream)
    count = sum(1 for row in reader)
print("データ件数:", count)

此示例是存在实际文件时的参考代码,并非在本次实验中创建了文件。如果是带有表头的CSV,可以用DictReader来统计数据行。不过,空行、重复ID、表头缺陷、需要作为注释处理的行等业务规则则需要另外讨论。DictReader返回的数量不一定与业务上的有效数量相同。

出错时区分三个边界

首先,当出现csv.Error,或者记录被意外合并时,请检查引号是否闭合,或者是否通过重复两个引号进行了转义。根据CSV方言的不同,分隔符和引号的处理方式也可能有所不同。如果将制表符分隔的数据当作逗号分隔的数据来读取,即使数量吻合,列的含义也会被破坏。请不仅核对数量,还要核对列数和代表性的字段值。

其次,如果日语出现乱码,则应怀疑是字符编码问题而不是换行符问题。UTF-8、带BOM的UTF-8、Windows系字符编码等是另一个层面的问题。请确认读取时的encoding,切勿将乱码的值直接覆盖保存。乱码和记录边界的问题有时会同时发生,但不要妄下断言归咎于单一原因,通过少量虚拟数据进行个别复现将更容易进行排查。

最后,如果Excel和Python统计出的数量不同,请检查空白行、筛选器、是否有表头以及导入时的类型推断。即使Excel在一个单元格内显示了表面上的换行符,它在内部作为字符串保存与业务系统将其算作有效记录也不是同义词。必须记录下在哪个阶段统计了什么内容来进行比较。

在实际业务中,“条数”与“内容”两方面都需要核对

通过 CSV 传递咨询列表、订单数据和工作日志时,第一步是不应将文件的物理行数作为记录条数进行报告。在导入前后通过csv.reader比较记录条数,并进一步确认 ID 是否重复、必填列是否缺失以及代表性的长文本备注是否保留了换行。因为即使条数完全一致,也可能存在因逗号解析错误而导致列错位的情况。

处理大量 CSV 时,list(csv.reader(...))不需要将所有数据在内存中全部展开。从流中逐条读取并统计条数,即可控制内存占用。不过,业务核对所需的 ID 和错误信息,应在确定保密性和保存期限的前提下进行最小化记录。应避免无限制地将包含个人信息的原始自由文本字段复制到排查日志中。

如果接收方无法更改 CSV 规范,则需与发送方确认分隔符、引号、换行符、字符编码以及空行处理方式,并将包含单元格内换行的测试数据纳入验收测试中。如果平时仅用单行简短备注进行测试,那么当实际运行中的自由文本变长时,就会首次出现条数不一致的问题。与其等到发生故障后再删除换行符,不如从一开始就准备好包含边界条件的小型测试更为安全。

总结

当 CSV 的物理行数与记录条数不同时,首先应怀疑是引号内的换行导致的。Python 的splitlines()用于统计文本行数,而csv.reader用于解析 CSV 结构。理解的关键在于进行这样的对比:仅删除一个单元格内的换行,物理行数会发生变化,但记录条数保持不变。在实际业务中,不仅要核对条数,还要确认列的对应关系、ID 以及字符编码,从而设计出不破坏原始数据即可完成导入的方案。

参考资料

文档信息

文章??
CSV行数不对?在Python中区分单元格内换行与逻辑记录
?布日期
更新日期
来源
https://papanda925.com/?p=18592&lang=zh

?可: ?于本站?有相??利的正文及原??表,除非?有?明,可依据 CC BY 4.0 使用。本文可能包含使用生成式AI?建或??的内容。若代??有?可声明,或?接的GitHub???定了?可,?代?以??可?准。引用内容、第三方?料、?片及商?不在本?可范?内。 使用政策

标题和URL已复制