ZIP中有两个同名文件?用 Python zipfile 识破重复条目

プログラミング・Web開発カテゴリを表すパンダのイラスト 编程・Web开发

关于本文本文是通过利用生成式 AI 的自动化工作流创建的。基于 Python 标准库 zipfile 的官方规范,整理了通过虚构数据重现 ZIP 内部存在同名重复情况的步骤。

验证状态:📘 已确认 Python 官方规范・所附代码未在实机上运行验证

ZIP中有两个同名文件?用 Python zipfile 识破重复条目

打开 ZIP 查看文件列表时,report.csv似乎只有一个。但在自动化处理时,有时会读取到意料之外的内容,或者解压后的数量不符。原因之一就是ZIP 内部包含多个同名条目的状态。ZIP 列表中显示的名字与 ZIP 所保持的各个项目并不一定是一一对应的。

Python 的zipfile.ZipFile.infolist()会将各个项目作为ZipInfo返回。另一方面,如果仅以名称为键将其汇总到字典中,就会丢失重复项。本文将探讨如何在不解压到磁盘的情况下,在内存中创建虚构的 ZIP 来检测重复,并思考如何在业务中处理这种情况。

目标环境与实验安全范围

项目条件
对象Python 3 标准库 zipfile、io、collections
输入内存中的两个虚构 CSV。不使用真实文件或个人信息
实验创建ZIP、获取列表、检测同名、读取单个条目
外部通信无。无需附加包或管理员权限
验证参考官方规范。以下发布的代码未经运行确认

操作对象是BytesIO这样一段内存中的字节序列。它不会解压或覆盖电脑中的实际ZIP文件。在将其应用于业务文件之前,请先对这个小型示例做出预测。

首先放入两个同名文件

在以下代码中,我们将两个内容不同但名称相同的项目写入ZIP中。根据Python版本的不同,在写入重复名称时会抛出report.csv。UserWarning这是一个观察对象,为了消除警告,并不需要无条件地将其忽略。

import io
import zipfile
from collections import Counter

memory = io.BytesIO()
with zipfile.ZipFile(memory, "w") as z:
    z.writestr("report.csv", "id,value\n1,old\n")
    z.writestr("report.csv", "id,value\n2,new\n")
    z.writestr("note.txt", "sample only")

memory.seek(0)
with zipfile.ZipFile(memory, "r") as z:
    entries = z.infolist()
    counts = Counter(item.filename for item in entries)
    print("entries:", len(entries))
    print("names:", [item.filename for item in entries])
    print("duplicates:", {name: n for name, n in counts.items() if n > 1})
    for item in entries:
        if item.filename == "report.csv":
            print("member:", z.read(item).decode("utf-8").strip())

基于规范的预期结果是:条目总数为3,名称列表中出现report.csv2次,重复数显示为2。在最后的循环中,由于分别传入了两个ZipInfo对象,因此可以同时确认旧内容和新内容。这里显示的顺序是创建时添加的顺序。然而,不能将常规ZIP的顺序作为判断新旧或正确性的依据。

重点是,z.read(item)中传入的是ZipInfo而不是字符串。当名称相同时,如果只写z.read("report.csv"),则所指的条目会变得模糊不清。官方文档也在区分重复名称时ZipInfo并说明可以传递。

为什么列表中仍然存在重复项

ZIP 并不是“以名称为键的唯一字典”,而是一个包含各个文件项信息的归档。infolist()返回的不仅是名称字符串,还带有大小、压缩方式、CRC等元数据ZipInfo的序列。即使名称相同,也可以作为不同的条目存在。

如果将这种差异画成一张图,就能看出信息是在哪里丢失的。

flowchart TD
    A["ZIP内の全エントリー"] --> B["infolistで個別のZipInfoを取得"]
    B --> C["filenameごとに件数を集計"]
    C --> D{"同じ名前が複数あるか"}
    D -->|はい| E["重複を報告し個別に確認"]
    D -->|いいえ| F["次の検査へ進む"]

图中的关键点在于:在按名称合并为一项之前先统计数量。如果将文件名作为键覆盖赋值到一个字典中,最后可能只能看到最后保留的值。即便使用该字典再去检查重复,也无法恢复原本的 ZIP 中有多少项。

Counter保存了每个条目名称的出现次数。查找重复的操作虽然简单,但在业务上需要将“检测重复”与“决定采用哪一个”区分开来。因为后者是由归档的创建者、交付规范以及数据版本管理规则来决定的。

如果只改变一个条件会怎样?

尝试将第二个writestr("report.csv", ...)更改为writestr("report-new.csv", ...)。只需要修改名称。预期的重复字典将变为空,总条目数仍为 3。通过这一对比可以发现,所检查的并不是文件内容是否一致,而是名称冲突。

相反,即使名称不同但内容相同的案例,在此次检查中也不会被判定为重复。如果想检查内容是否重复,则需要另外比较哈希值或记录标识符。此外,Report.csv和report.csv在 Python 的字符串比较中是不同的名称。由于这与解压到 Windows 上时的名称冲突条件不同,因此需要根据目标文件系统进行额外的确认。

另一个边界条件是data/report.csv和report.csv。由于它们在 ZIP 内的路径不同,在这次的filename比较中不会被视为重复。但是,如果在解压时忽略文件夹结构,仅凭文件名保存,就会发生冲突。如何界定“同名”,需要与实际的后续处理结合起来进行设计。

发生失败时该如何排查?

zipfile.BadZipFile如果发生此错误,请不要断定一定是重复问题,ZIP 的结构本身可能已经损坏。is_zipfile()虽然可以使用方法预先确认格式,但这并不能保证所有数据都能被正常读取。读取时仍然需要异常处理和校验。

即使能读取文件名,内容的字符编码也不一定是 UTF-8。在实验中,因为编写的是等效于 UTF-8 的 ASCII 字符串,所以使用了decode("utf-8"),但在业务 CSV 中需要单独确认字符编码。如果解密失败,应将其排查为目标文件的字符编码问题,而不是 ZIP 的重复检查问题。

如果 ZIP 中包含加密项,在没有密码的情况下可能无法读取。此外,无限制地读取解压体积巨大或包含大量条目的 ZIP 是非常危险的。当前的代码只是针对小型虚拟数据的教学示例,并非包含容量限制、条目数限制和超时控制等以安全处理未知压缩包为目的的生产级代码。

此外,还需考虑文件名中可能包含../或看似绝对路径的字符串。应避免直接将 ZIP 内的名称拼接并写入任意输出路径的实现方式。由于本次方法是不解压的检查,因此在评估路径安全性之前,无需写入磁盘。

如果在业务中使用,应检测重复并予以拦截

例如,如果按契约规定,合作伙伴每天早晨发来的 ZIP 中应该只有sales.csv一个,那么首先应获取压缩包的条目列表,sales.csv确认其是否精确为 1 个。如果是 0 个则表示缺失,2 个或以上则视为重复并暂缓接收。与其自动选择其中一个,不如要求合作伙伴重新发送,这样更容易追查汇总错误的原因。

接收检查不仅限于文件名。还需要检查期望的 CSV 列、记录条目数、日期、字符编码、压缩前后的尺寸,必要时还要检查校验和。没有重复只是必要条件之一,并不能证明内容正确。特别是对于工资发放或账单等重复导入相同文件会引发问题的处理,需要将压缩包内部的重复与过去接收过的数据的重新发送分开进行检查。

在实际运营日志中,记录接收日期和时间、压缩包标识符、条目数、重复的名称以及暂缓原因将有助于调查。但是,如果实际文件名中包含客户姓名或个人姓名,则需要权衡日志的公开范围和保存期限。没有必要将 ZIP 中的文件全部输出到日志中。

采用该方法的判断标准是明确的。如果业务契约要求 ZIP 内的名称唯一,则应在导入前拒绝重复。另一方面,如果要处理有意包含同名项的特殊归档,则应根据ZipInfo而不是名称进行处理,并明确采用规则。重要的是,不要仅仅因为发现重复就断定它是“损坏的 ZIP”。

官方信息与确认范围

基于官方文档的规范解释了预期结果。所发布代码的执行结果、特定操作系统上的解压显示以及 WordPress 中的 Mermaid 显示未经实际测量。如果读者的环境产生不同的结果,请记录 Python 版本、ZIP 创建来源、字符编码和异常消息并进行比较。

文档信息

文章??
ZIP中有两个同名文件?用 Python zipfile 识破重复条目
?布日期
更新日期
来源
https://papanda925.com/?p=18599&lang=zh

?可: ?于本站?有相??利的正文及原??表,除非?有?明,可依据 CC BY 4.0 使用。本文可能包含使用生成式AI?建或??的内容。若代??有?可声明,或?接的GitHub???定了?可,?代?以??可?准。引用内容、第三方?料、?片及商?不在本?可范?内。 使用政策

标题和URL已复制