この記事について
この記事は、生成AIを活用した自動生成フローで作成しています。公式情報・一次情報を確認して内容を整理しています。
検証ステータス：📘 公式情報確認済み・実機未確認
GitHub Copilotに新たにパブリックプレビューとして追加された「Computer Use」機能は、AIがデスクトップアプリケーションを直接操作して自動化の幅を広げる仕組みです。APIやコマンドラインインターフェース（CLI）、MCP（Model Context Protocol）が提供されていないGUI専用ソフトやレガシーな環境であっても、画面上の要素を認識してワークフローを進められる点が大きな特徴となっています。 、公式情報をもとにComputer Use機能の全体像、対応環境、操作方法、そして利用時のセキュリティや権限管理について詳しく整理します。
要点：Computer Use機能とは何か
一次情報によると、GitHub CopilotのComputer Useは、Copilot CLIおよびmacOSとWindows向けのGitHub Copilotアプリで利用できる機能です。AIがユーザーの代わりにデスクトップアプリケーションを操作し、次のような動作を行います。
アクセシブルなアプリコンテンツや視覚的なコンテキストの読み取り
コントロールのクリック
テキストの入力および編集
キーの押下、スクロール、ドラッグ
複数のアプリケーションをまたいだワークフローのナビゲーション
これにより、従来は自動化が難しかったGUI環境での作業をCopilotに任せることが可能になります。例えば、ブラウザ上の通知のまとめ、プレゼンテーション資料の内容更新、デスクトップアプリ間での情報移動などが想定されています。
なぜデスクトップアプリ連携が必要なのか
多くのモダンな開発・運用ツールにはAPIやCLIが用意されていますが、実務では依然としてAPIを持たないレガシーなシステムや、GUI操作しか受け付けないデスクトップアプリが多数存在します。
これまでは、そうした環境の自動化には画面座標ベースのスクリプトや複雑なRPAツールの導入が必要でした。しかし、Computer Use機能を利用することで、Copilotが画面の視覚情報やアクセシビリティ情報を解釈し、言葉で指示された結果（アウトカム）ベースでアプリケーション操作を代行できるようになります。これにより、APIやMCP統合がない環境でも効率的な自動化フローの構築が視野に入ります。
利用環境と前提条件
Computer Use機能は、以下の環境およびインターフェースで提供されています。
GitHub Copilot CLI
GitHub Copilot app（macOSおよびWindows）
【Windows環境で確認予定】具体的なデスクトップアプリ上の挙動や画面描画の差異、およびPowerShell等のスクリプトによる状態記録手法については、実機環境での検証が完了次第追記します。
具体的な操作方法とコマンド
公式情報では、各インターフェースでの機能の有効化・無効化手順が案内されています。
Copilot CLIでの操作
CLI環境では、専用のコマンドを入力して機能を制御します。
有効化:
/computer onステータス確認:
/computer show無効化:
/computer off
GitHub Copilotアプリでの操作
アプリのGUIから設定する場合は、以下の手順に従います。
Settings（設定）を開く
Computer Useを選択する
Enable Computer Useをオンにする
なお、アプリ内でも /computer on コマンドを使用して有効化することが可能です。
セキュリティと権限管理の仕組み
デスクトップアプリをAIが直接操作するという性質上、セキュリティやユーザーのコントロール権限の確保は極めて重要です。一次情報では、次のような安全対策と管理機構が明記されています。
ユーザーの承認必須 Copilotがアプリケーションを制御する前に、必ずユーザーへ承認を求めます。「常に許可（always allow）」に設定したアプリについても、後からレビューやリセットを行うことができます。
OSレベルのパーミッション macOS環境では、Computer Useの利用にあたって「アクセシビリティ（Accessibility）」および「画面収録（Screen Recording）」の必要な権限をガイドに従って許可する必要があります。
組織による一元管理 組織（Organization）で管理されている設定により、この機能を無効化することも可能です。
利用時の注意とベストプラクティス
Computer Useを効果的に活用するためには、指示の出し方にコツがあります。公式情報では、単にボタン名や座標を指示するのではなく、「達成したい結果」「関与するアプリケーション」「重要な制約」を明確に記述することが推奨されています。
求めるアウトカム（結果）を具体的に伝える
操作に関わるアプリケーションを明示する
処理上の制約条件を添える
また、本機能はAPIやCLI、MCP統合が存在しない環境の補完として強力ですが、GUI変更や予期せぬポップアップ表示などに対するマージンを考慮し、常にユーザーが監視・介入できる体制を維持することが大切です。
まとめ
GitHub CopilotのComputer Use機能は、CLIおよびmacOS・Windowsアプリでパブリックプレビューとして提供されている。
APIやCLIがないレガシー・GUI専用ソフトでも、画面の視覚情報やアクセシビリティ情報を介して操作を代行できる。
利用開始時はCLIの
/computer onまたはアプリのSettings > Computer Useから有効化する。実行前には必ずユーザーの承認が求められ、macOSではアクセシビリティや画面収録の権限設定が必要となる。
組織管理による機能の無効化や、常に許可したアプリのレビュー・リセット機能が備わっている。
実行時は「求める結果」「対象アプリ」「制約事項」を明確に伝えることが重要である。
参考情報
source_title: GitHub Copilot can now interact with desktop apps with computer use
source_url: https://github.blog/changelog/2026-10-01-github-copilot-can-now-interact-with-desktop-apps
