PowerShellのGroup-Objectで重複を見つける：件数だけで判断すると見落とす理由

この記事について この記事は、生成AIを活用した自動生成フローで作成しています。Microsoft LearnのPowerShell公式資料を参照し、架空の備品データで重複検出の考え方を説明します。

検証ステータス：📘 公式仕様確認済み・PowerShell実機未確認

備品一覧をExcelやCSVから受け取ったとき、「同じ管理番号が二つある」と言われても、単に行を削除するのは危険です。番号が同じでも担当部署が違うのか、同じ備品を二重登録したのか、あるいは空欄が複数あるだけなのか。PowerShellの Group-Object を使うと、同じ値の行をひとまとめにして件数を調べられます。ただし、重複した値と、削除してよい行は同じ意味ではありません。今回はその差を小さな実験で確かめます。

今回の環境とゴール

読者ができるようになるのは、重複した番号を探すことだけではありません。「何を同じとみなしたのか」を説明し、空欄や大小文字の条件を変えて結果がどう変わるかを判断することです。実務で本当に必要なのは、重複行を自動で消すことより、確認対象を正確に絞ることです。

まずは架空の備品一覧で試す

PowerShell 7のコンソールを開き、次の例を一度に入力します。ファイルは作らず、メモリ上に架空の五件を置くだけです。会社の実際の資産番号や利用者名を貼り付ける必要はありません。

$items = @(
    [pscustomobject]@{ Id = 'PC-101'; Dept = '営業'; Note = '登録1' }
    [pscustomobject]@{ Id = 'PC-102'; Dept = '総務'; Note = '登録2' }
    [pscustomobject]@{ Id = 'PC-101'; Dept = '開発'; Note = '登録3' }
    [pscustomobject]@{ Id = '';       Dept = '営業'; Note = '未採番1' }
    [pscustomobject]@{ Id = '';       Dept = '総務'; Note = '未採番2' }
)
$items | Group-Object -Property Id |
    Select-Object Name, Count

仕様上の期待結果では、PC-101 は二件、PC-102 は一件、空欄は二件のグループになります。画面に並ぶ順序や空欄の表示は環境・表示方法で確認してください。重要なのは Count の値と、空欄も同じキーとしてまとまり得ることです。ここで「二件あるものを全部削除候補にする」と、未採番の二件まで巻き込んでしまいます。

最初の観察では、番号が重複している PC-101 と、まだ番号がない二件を分けて考えます。どちらも集計上は件数二ですが、業務上の意味が異なります。前者は入力ミス、機器の移動、複数部署の管理などを調べる対象です。後者は採番漏れとして担当者へ確認する対象であり、同一備品だと決める証拠にはなりません。

重複している番号だけを抽出する

空欄を除外したうえで、件数が二以上のグループを残します。元の行を失わないよう、グループ内の Group プロパティも表示しましょう。

$duplicates = $items |
    Where-Object { -not [string]::IsNullOrWhiteSpace($_.Id) } |
    Group-Object -Property Id |
    Where-Object { $_.Count -gt 1 }

$duplicates | ForEach-Object {
    "重複番号: $($_.Name) / 件数: $($_.Count)"
    $_.Group | Select-Object Id, Dept, Note
}

期待する確認対象は PC-101 の二行です。部署は営業と開発で異なるため、どちらかを勝手に正しいと決めてはいけません。コードの Where-Object は、まず番号が空白だけの行を除き、次にグループ化後の件数を条件にしています。同じ名前のコマンドでも、グループ化の前後では一件が意味する単位が変わる点が肝心です。

一回目の Where-Object が扱うのは備品一行ずつです。$_.Id を見て、未採番を除きます。Group-Object が扱うのは同じ番号の集合です。二回目の Where-Object では $_.Count が二以上かを調べます。もし後段の条件を前段へ移すと、通常の備品オブジェクトにその件数はありません。パイプラインのどの段階で、何が流れているのかを理解すると、似た処理へ応用しやすくなります。

処理の流れを図で確認する

次の図は「行を削除する」のではなく、「確認対象の集合を作る」までを示します。番号の空欄判定を先に行うため、未採番が重複番号として紛れ込むのを防げます。

flowchart TD
    A["架空の備品5行"] --> B{"番号が空欄か"}
    B -->|はい| C["未採番として別途確認"]
    B -->|いいえ| D["番号ごとにGroup-Object"]
    D --> E{"Countが2以上か"}
    E -->|はい| F["重複候補の元行を表示"]
    E -->|いいえ| G["今回の重複候補から除外"]

この図の終点はあくまで候補の抽出です。Count が二以上でも、登録が不正なのか、同じ機器に複数の管理レコードがあるのかはまだ分かりません。重複検出と重複解消の間には、管理台帳や担当部署による確認が必要です。自動化するときほど、この境界を明確にしておきましょう。

条件を一つ変える：大文字と小文字

次は番号の表記ゆれを試します。最初の一覧とは別に、英字の大小文字だけが違う二行を作ります。ここでは -CaseSensitive を付けるかどうかだけを変えます。

$caseItems = @(
    [pscustomobject]@{ Id = 'pc-201' }
    [pscustomobject]@{ Id = 'PC-201' }
)
$caseItems | Group-Object -Property Id | Select-Object Name, Count
$caseItems | Group-Object -Property Id -CaseSensitive | Select-Object Name, Count

PowerShellの Group-Object は既定では大文字と小文字を区別しないため、前者では同じグループとして扱われることが期待されます。一方、-CaseSensitive を指定すると異なるキーとして扱います。PowerShell 7系を想定した例であり、掲載コードそのものの実行結果を測定したわけではありません。

この比較で重要なのは、どちらが常に正しいかではなく、台帳の番号ルールに合っているかです。備品番号が大文字小文字を区別しない規約なら、既定の集計は自然です。もし別のシステムで二つの値を異なる識別子として扱うなら、区別しない集計は別物を一つにまとめる危険があります。管理番号の仕様が不明なまま検索や集計の設定だけを決めるのは避けましょう。

また、空白や全角・半角の違いは大小文字とは別の問題です。PC-101 と PC-101 のように末尾空白が混じる入力は、集計前に Trim() を使うべきかを検討する必要があります。ただし正規化すると元の入力差分が見えなくなるため、原本を残し、変換後の列を別に作るほうが監査しやすくなります。特に外部システムから届いた識別子は、見た目が似ていても同じ値とは限りません。

失敗しやすい境界条件

最初の落とし穴は、空欄と空白文字だけの番号です。今回の例では IsNullOrWhiteSpace を使い、空文字だけでなく空白だけの値も候補から外しました。しかし、これで入力品質が良くなるわけではありません。未採番レコードは消えず、別の検査項目として数える必要があります。重複検出で出てこないから問題なし、と判断しないことが大切です。

二つ目は、グループの代表名だけを見て原本の行を捨ててしまうことです。Select-Object Name, Count は集計の確認に便利ですが、どの部署が登録したか、いつ更新したかは分かりません。調査段階では $_.Group に含まれる元オブジェクトを残すことで、後から根拠を追えます。見やすい集計表と調査に必要な証拠は、役割が異なります。

三つ目は、データ型の混在です。CSVから読み込んだ値と、別の処理で数値として作った値を混ぜると、先頭ゼロを持つ番号が意図せず変換される可能性があります。管理番号は計算する数値ではなく識別子なので、読み込みから比較まで文字列として扱う設計を優先します。数字だけに見えても、0012 と 12 を同一にしてよいかは業務規則によります。

四つ目は、入力が空の場合です。グループがゼロ件であることと、重複がゼロ件であることは違います。ファイルが読み込めていない、列名が間違っている、フィルターがすべての行を除外した、という可能性を先に確認します。集計結果だけを成功判定に使わず、入力件数・未採番件数・重複候補件数を一緒に表示すると、運用での見落としが減ります。

実務では「検出」と「修正」を分ける

業務でCSVを受け取るなら、まず原本を読み取り専用のまま保管し、別の作業用データで番号をグループ化する方法が安全です。集計対象の列を決め、空欄の扱い、大小文字、前後空白、先頭ゼロを仕様として明文化します。そのうえで重複候補と未採番を別々に報告すれば、担当者は「何を確認すればよいか」を理解できます。

定期チェックに発展させる場合でも、いきなり削除や上書きを組み込む必要はありません。たとえば日次の点検で、候補番号、件数、元の行番号、部署を一覧に出すだけでも価値があります。翌日に同じ番号が再び現れたとき、入力側の問題なのか、未解決の確認案件なのかを追いやすくなるからです。自動修正は、正しいレコードを選ぶ根拠と差し戻し手順が確立してから検討すべき工程です。

一方、数件の表を一度だけ確認するならExcelの条件付き書式やCOUNTIFのほうが手軽な場合もあります。PowerShellが向くのは、同じ規則で繰り返し集計したい、複数の列を使って条件を切り替えたい、元の行を保持して調査したい、といった場面です。ツールを使うこと自体が目的にならないよう、データ量と確認頻度で選びましょう。

まとめ

Group-Object の便利さは、同じ値の行を集めるだけでなく、グループ内の元データを確認できることです。今回の五行では、同じ件数二でも「重複番号」と「未採番」が別の問題であると分かります。さらに大小文字の条件を変えると、同じ入力から違う集計結果が生まれます。重複を見つける処理の品質は、コマンドの短さではなく、何を同一とみなすかという業務上の定義で決まります。

公式資料

• Microsoft Learn: Group-Object

• Microsoft Learn: Where-Object

• Microsoft Learn: about_Pipelines