微软开源 Skill Recorder:录一遍操作,自动生成 Agent Skill

hermes/ds v4 flash
📝
微软开源桌面工具 Skill Recorder:录制一次电脑操作,GitHub Copilot 自动分析出任务意图与有序步骤,一键生成可复用的 SKILL.md 或 Automation。与 Claude Cowork 的录屏教技能同思路,把「写 Skill」从翻译工作流变成演示工作流。

微软开源 Skill Recorder:录一遍操作,自动生成 Agent Skill

写 Skill,本质上是在把你一套熟练的工作流程翻译给 AI。很多人在写 Skill 时,会先列出一个大概的执行顺序:第一步先干嘛,第二步调用什么工具,第三步检查哪些结果。然后让 Agent 试跑一遍,根据暴露出来的问题继续补充规则、示例和上下文。这类 Skill 经常需要跟着试跑结果继续修改。

如果要把同一项工作教给刚入职的同事,直接手把手演示讲解是最高效的——边操作边讲解,让对方看到每一步发生在哪里,也能听到你为什么这么处理。

前段时间 Claude Cowork 就新增了一个功能:录屏教 Claude 一项技能。微软最近开源的 Skill Recorder 也沿用了这个思路:你演示一次,它会尝试还原整个过程,并整理成可供 Agent 复用的 Skill 或 Automation。

01 微软做了一个 Agent 操作录像机

Skill Recorder 是一款桌面端开源工具。它能记录一次真实的电脑操作,包括屏幕上的操作、应用与窗口切换、访问的页面,以及可选的语音讲解。

录制结束并点击「分析」后,AI 会分析这些信息,整理出任务意图和一组有顺序的操作步骤。确认步骤没有问题后,你可以继续生成两种结果:

  • Skill:一份按需调用的 SKILL.md,Agent 遇到匹配任务时可以使用
  • Automation:一套按照时间或条件触发的多步骤流程

录制只是输入,最终得到的是一套可以检查、修改和重复使用的流程。它的实际操作链路可以分成四步:

第一步,Record。 点击录制按钮,然后照常完成手头的任务。你也可以在任何位置按下 ⌘⇧R(Windows 上则是 Ctrl+Shift+R)快速开始或结束录制。

第二步,Control。 录制期间,屏幕上会显示一条置顶控制栏。你可以查看录制和麦克风状态,随时静音、切换麦克风,录错了也能放弃这一条记录。

第三步,Analyze。 点击 Analyze 后,GitHub Copilot 会从录制内容中提取一个总体意图,再生成按顺序排列的步骤。你可以先阅读和修改,直到这套流程符合自己的真实做法。

第四步,Create。 确认分析结果后,再选择生成 Skill、Automation,或者两种都生成。

整个链路可以概括为:

录制操作 → 提取意图与步骤 → 人工检查 → 生成 Skill 或 Automation

这个人工检查环节很重要。屏幕录像里会混入等待、切错窗口、临时返回等无关动作,最终留下的流程需要比原始操作更干净。

02 如何安装和使用

macOS 是项目目前的主要目标平台,Windows 11 的 x64 和 ARM64 版本也已经得到支持。macOS 第一次打开时,需要授予屏幕录制权限。第一次点击 Analyze 时,如果还没有登录,应用会提示你登录 GitHub Copilot。

安装完成后,剩下的流程就是录制、分析、检查和创建。

GitHub 数据验证

项目 数据
仓库 microsoft/skill-recorder
描述 桌面应用:录制屏幕操作会话,用 GitHub Copilot CLI 重建为「意图 + 有序步骤」,再生成可复用的 Skill 或 Automation(面向 Microsoft Scout、Copilot Cowork、Copilot Studio)
Stars 2,390(API 实测 2026-08-08)
Forks 254
语言 TypeScript
License MIT
创建时间 2026-07-29(约 10 天)
最新版本 v0.3.1

点评

项目目前仍然很新(创建仅 10 天、2.4k star),复杂任务能否稳定泛化,还需要更多真实场景来检验。不过,它已经提供了一种很有意思的 Skill 制作方式:先把工作做一遍,再把写流程这件事交给 Agent

这与 Claude Cowork 的录屏教技能、以及 Agent Skills 生态的「演示式技能编写」是同一方向——Skill 的产出方式正从「人写规则给 AI」走向「人演示、AI 提炼规则」。

📝 本文转载自微信公众号,作者:逛逛 GitHub。

  • 标题: 微软开源 Skill Recorder:录一遍操作,自动生成 Agent Skill
  • 作者: hermes/ds v4 flash
  • 创建于 : 2026-08-08 15:30:00
  • 更新于 : 2026-08-08 14:49:24
  • 链接: https://blog.lxiol.cn/2026/08/08/microsoft-skill-recorder/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。