Agentic CLI customizations now in the usage metrics APIの公式情報から確認する

PowerShellカテゴリを表すパンダのイラスト PowerShell

本記事はAIを利用して作成した技術解説・実装例です。掲載するコードや手順は一次情報を基に構成していますが、筆者による実機での動作確認は行っていません。環境やバージョンによって動作が異なる場合があります。

GitHub Copilotの利用状況を把握するためのUsage Metrics APIに、Agentic CLI customizations(エージェント型CLIのカスタマイズ機能)に関する新しいレポート範囲が追加されました。本記事では、公式の変更履歴(Changelog)から読み取れる仕様や追加された指標、レポートが提供される期間や権限の要件について整理します。

本記事を通じて、組織やエンタープライズの管理者がCopilot CLIのカスタマイズ利用状況を安全かつ実用的に把握するための前提知識と、API利用時の注意点を短く示します。


1. 目的と本記事で扱う範囲

本記事の目的は、GitHub公式の変更履歴「Agentic CLI customizations now in the usage metrics API」に基づき、追加された機能の構成要素とレポートの仕様を正確に読み解くことです。

【実機確認前】のため、本記事では実際のAPIリクエストやPowerShellなどを用いた環境ごとの出力結果の取得は行わず、公式の仕様説明の整理に焦点を当てます。


2. 前提・注意点

Usage Metrics APIを利用してカスタムCLIの利用状況を確認するためには、以下のロールや権限、ポリシーの有効化が必要であることが一次情報に記載されています。

  • 対象ロール: エンタープライズオーナー、ビリングマネージャー、組織オーナー、または View Copilot Metrics 権限が付与されたカスタム組織・エンタープライズロールを持つユーザー

  • 前提条件: Copilot usage metrics ポリシーが有効化されていること

  • プライバシー保護の仕様: プライバシー保護のため、ユーザー定義の名前は表示されず、認識されたGitHub提供のアイテム名のみが表示されます。

    • スキル、カスタムエージェント、MCPサーバー、プラグインは other というラベルの下にグループ化されます。

    • カスタムスラッシュコマンドについては、従来のCopilot CLIテレメトリーの挙動と同様に custom というラベルが使用されます。


3. 追加されたメトリクスの種類と仕様

公式情報によると、今回のアップデートではスキル(skills)、カスタムエージェント(custom agents)、Model Context Protocol(MCP)サーバー、スラッシュコマンド(slash commands)、プラグイン(plugins)のアクティビティ指標が追加されました。

これらのフィールドは、エンタープライズおよび組織の「1日あたりのレポート(per-user および aggregate)」、「28日ごとのレポート(per-user)」、および「28日ごとの集計レポートにおける day_totals エントリ」に出現します。

レポートが答える主な問いは以下の2点です。

  1. どのアイテムが最も多く使用されているか?

  2. 何種類の異なるアイテムが使用されたか?


4. 利用頻度の高いアイテムを特定する配列フィールド

利用頻度の高いアイテムを把握するため、以下の配列フィールドが用意されています。これらは最も活動記録が多い上位5つのアイテムをリストアップし、それぞれに interaction_count が含まれます。

  • totals_by_skill

  • totals_by_custom_agent

  • totals_by_mcp

  • totals_by_slash_cmd

  • totals_by_plugin

インタラクション数のカウント仕様

カテゴリーによって interaction_count が何をカウントするか定義されています。

  • スキル、スラッシュコマンド、プラグインのスキル: それぞれの呼び出し(invocations)回数をカウントします。

  • カスタムエージェント: 開始(starts)回数をカウントします。

  • MCPサーバー: Copilot CLIがサーバーへ接続または再接続を試みた回数をカウントします。成功・失敗の両方の試行がカウント対象となります。同じ接続済みサーバーから複数のツールを呼び出しても、このカウントは増加しません。

  • プラグイン: プラグインに関連付けられたスキルの呼び出しのみをカウントします。すべてのプラグインインタラクションはスキル合計(skill totals)にも現れますが、プラグインに由来しないスキルインタラクションはスキル合計にのみ現れます。プラグインの合計値はスキル合計のサブセットであるため、両者を単純に足し合わせるべきではないと説明されています。


5. 多様性を計測するカウントフィールド

利用されているアイテムの多様性を把握するため、使用された異なるアイテムの数を数える以下のフィールドが提供されています。これらはトップ5以外のアイテムもカウントに含まれており、経時的に比較することで利用の多様性が拡大しているかを確認できます。

  • distinct_skill_use_count

  • distinct_custom_agent_use_count

  • distinct_mcp_use_count

  • distinct_slash_cmd_use_count

  • distinct_plugin_use_count

カウントの集計単位

  • パーユーザーレポート: そのユーザーが使用した個々のアイテムがそれぞれ1回としてカウントされます。

  • 集計レポート(Aggregate): エンタープライズまたは組織内で誰かによって使用された個々のアイテムが全体で1回カウントされます(ユーザーごとではありません)。


6. データ不在時の挙動と注意点

一次情報では、アクティビティが存在しない場合の挙動についても言及されています。

  • 一致するアクティビティがない場合、配列は空になり、カウントはゼロになります。

  • カスタマイズデータを利用できない場合、フィールドは null または不在となります。


7. まとめ

、GitHub Changelogで公開された「Agentic CLI customizations now in the usage metrics API」の公式情報を整理しました。実行前に確認すべき点と制約事項は以下の通りです。

  • 実行前の確認ポイント:

    • 利用組織で Copilot usage metrics のポリシーが有効になっているか。

    • APIにアクセスするアカウントに View Copilot Metrics 権限が含まれているか。

  • 制約・留意事項:

    • プライバシー保護のため、ユーザー定義の名前は表示されず othercustom としてグループ化される。

    • プラグインのメトリクスはスキルメトリクスのサブセットであるため、単純合算しない。

    • MCPサーバーのインタラクション数はツール呼び出しではなく接続試行回数である。

    • 【実機確認前】のため、実際のAPIレスポンスのJSON構造やPowerShellでの取得結果は示していない。詳細なスキーマ確認は公式のCopilot usage metrics APIドキュメントを参照する必要がある。

参考情報

文書情報

記事タイトル
Agentic CLI customizations now in the usage metrics APIの公式情報から確認する
作成日
更新日
Source URL
https://papanda925.com/?p=16915

ライセンス: 本記事のうち、当サイトが権利を有する本文・自作図表は、特記なき限り CC BY 4.0 で利用できます。生成AIを活用して作成・編集した内容を含みます。コードについて、別途ライセンス表示またはリンク先GitHubリポジトリのライセンスがある場合は、その条件を優先します。引用・第三者資料・画像・商標等は本ライセンスの対象外です。 利用ポリシー

タイトルとURLをコピーしました