Computer use 现已在 GitHub Copilot CLI 以及 macOS 与 Windows 版 GitHub Copilot 桌面应用中开放公共预览
Copilot 现在可以代你与桌面应用进行交互，包括读取应用的可访问内容与视觉上下文、点击控件、输入与编辑文本、按键操作、滚动、拖拽，以及跨应用执行工作流。这一能力拓展了 Copilot 可自动化的任务范围，涵盖了那些没有提供 API、命令行接口或 MCP（Model Context Protocol，模型上下文协议）集成的遗留系统与纯 GUI 软件中的工作流。
%%IMG1%%
Copilot 正在使用 computer use 工具在 Safari 中处理报销流程。
你始终掌握控制权
Copilot 在控制某个应用之前会先请求你的批准，你可以查看或重置那些你已设置为“始终允许”的应用。在 macOS 上，computer use 还会引导你授予所需的“辅助功能”与“屏幕录制”权限。由组织统一管理的设置也可以禁用该功能。
如何开始使用
- 在 Copilot CLI 中，运行
/computer on。使用/computer show查看当前状态，使用/computer off关闭该功能。 - 在 GitHub Copilot 桌面应用中，打开 Settings，选择 Computer Use，并开启 Enable Computer Use。你也可以使用
/computer on命令。
提示
当你清楚描述期望的结果、涉及的应用以及任何重要约束时，computer use 的效果最佳。例如，你可以让 Copilot 汇总浏览器中的通知、更新演示文稿中的内容，或在桌面应用的工作流中传递信息。
了解更多
阅读文档：GitHub Copilot CLI 与 GitHub Copilot 桌面应用中的 computer use