Claude Opus 蒸馏 Qwen 9B 编程模型，消费级显卡本地部署，实测

原文链接：https://mp.weixin.qq.com/s/1IrdvYK9pM3eWpVNcf3dlA

大家好，我是 Ai 学习的老章

前文介绍了Qwopus3.5-4B-Coder-MTP-GGUF：# Opus 蒸馏 Qwen3.5 Coder 来了，工具调用卷到满分，MTP加速，上下文拉到128K，消费级显卡轻松部署

模型作者Jackrong最近又发新模型了——Qwopus3.5-9B-Coder，这次是9B，专门针对 Agentic Coding、Tool Calling 和逻辑推理 三个方向做了深度优化

这个项目一共发布了三个版本，适合不同使用场景：

版本

格式

适用场景
Qwopus3.5-9B-Coder
Safetensors

研究/二次微调基座
Qwopus3.5-9B-Coder-GGUF
GGUF 量化

本地部署（Ollama/LM Studio）
Qwopus3.5-9B-Coder-MTP-GGUF
GGUF + MTP

追求极致速度的本地部署

详细介绍这个模型（训练细节，测评数据，部署）之前，先把我实测体验分享一下

我的机器是16GB MacMini，启动工具是LM-Studio 0.4.16，模型必然选 Qwopus3.5-9B-Coder-MTP-GGUF，它比base更快，更好

MTP vs Base 推理机制对比
好久没用，发现LM Studio升级之后居然支持手机远程控制了

下载模型，选 Qwopus3.5-9B-Coder-MTP-GGUF

它有很多个量化版本，我选的 Q4_K_S

加载模型后，在设置中确认 MTP/Speculative Decoding 相关选项已开启

推荐参数设置：

1
2
3

`[#这是]() Qwen3.5 系列官方推荐的采样参数，在逻辑推理和创造力之间取得平衡
Temperature: 1.0
Top-p: 0.95`

加载模型，实际需要7.14GB内存，没敢拉满上下文

推理速度 17 个token/s，调API只有12左右

测试的话，我还准备了 25 道真实编程场景题目，覆盖日常开发中最高频的 9 大类任务（都不算重活，也不能指望9B模型太多）：

分类

典型题目

写一次性脚本

批量重命名、CSV 数据清洗、并发下载

写业务 SQL

月度聚合、窗口函数排名、漏斗分析+同环比

修报错

Python TypeError、JS async 未捕获、SQL 死锁

补测试

邮箱校验 pytest、Mock 副作用、并发竞态

小型 API

FastAPI 接口、请求校验、CRUD+数据库层

自动化工具

CLI 工具、定时备份脚本、Webhook 处理器

配置文件

多阶段 Dockerfile、Nginx 反代+限流

代码阅读

总结模块职责、画调用链、识别安全风险

小范围重构

God Function 拆分、无类型代码加类型标注

我把它做成了可复用的测试工具

支持LM Studio的API

评分的话，我是用DeepSeek-v4-pro 做评委，根据GPT-5.5提供的标准答案进行打分

每道题4分，从准确、完整、规范、工程四个维度给分

但是下载模型，设计这个评测助手花费了太长时间，而且实际跑起来推理速度还是差点意思，我估计完全跑完25题并评分还要半小时起步，等完全跑完我在评论里说吧，如果是在拉垮，也算帮大家踩坑了，目前来看，模型解决实际问题的能力还有点欠缺

Qwopus3.5-9B-Coder 详解

Qwopus3.5-9B-Coder 8-bit 精度下只需 16GB 内存，普通笔记本和 Mac mini 就能跑

核心亮点：

在 HermesAgent-20 测试集上综合得分 85 分，碾压原版 Qwen3.5-9B（71 分）和其他 9B 级 Agent 模型
Tool Calling 稳定性测试 满分 100，跟 Qwen3.5-9B 并列第一
SWE-bench Verified 得分 53.89%，超过 Google Gemma-4-31B-it（52%），一个 9B 干翻 31B
社区独立测试中，31 个工具的对抗性选择，跟 Claude Opus 4.6 打平（96%）

核心黑科技：Trace Inversion

这是整个模型最值得说道的地方

我们都知道，Claude、GPT 这些商业模型的推理过程是被压缩过的

你在 API 里看到的 thinking 内容，其实只是一个高度浓缩的”推理气泡”，真正的完整推理链被藏起来了

下面这张图很直观地展示了 Trace Inversion 的工作原理：

Trace Inversion 原理图：从商业模型的压缩推理中还原完整推理链
Jackrong 的做法是：

训练一个”代理模型”（Trace-Inverter-4B）：用开源模型 GLM-5.1、DS-V4 的完整推理链做训练数据，再用 Qwen3-235B 把这些链压缩成气泡，让小模型学会从气泡还原完整链
反向攻击 Claude-4.7-Max：拿到 Claude 的压缩推理 + 最终答案，用 Trace-Inverter-4B 重建完整的 CoT（思维链）
拼接训练数据：把还原出来的完整推理链塞进 <think> 标签，和原始问答对拼在一起

说白了就是：”你 Claude 把推理过程藏起来了？没关系，我用另一个模型帮你’想’出来，然后拿去教我的小模型”，这个思路相当硬核，有点像”知识蒸馏 2.0”

第二招：真实 Agent 轨迹训练

光有推理链还不够，Jackrong 还引入了 GLM-5.1 的真实 Agent 轨迹数据，大约 10000 条高质量的多轮 Tool Calling 对话

这些数据的特点：

Agent 实际运行截图：模型在真实任务中的多轮思考和工具调用过程

不是合成的假数据，而是真实的 Agent 对话
每条数据都包含 <think> 推理过程和真实的工具执行结果
覆盖终端操作、代码调试、浏览器自动化、文件操作等场景

配合一个三阶段课程学习策略：先稳格式，再上复杂度，最后强化长上下文，同时还回放短样本防止能力漂移

这训练流程设计得，说实话比很多拿了融资的初创公司都讲究

下面这张图展示了整个训练流程的全貌：

Qwopus3.5-9B-Coder 训练流程全景图

跑分：9B 的极限在哪

说再多不如看数据，直接上 benchmark

1. HermesAgent-20（复杂 Agent 任务）

模型

综合得分
Qwopus3.5-9B-coder****85
Qwen3.5-9B（原版）

armand0e/Qwen3.5-9B-Agent

DJLougen/Harmonic-Hermes-9B

同样的 9B 底座，Qwopus 把原版 Qwen3.5-9B 甩了 14 分，这差距不是一点半点

2. ToolCall-15（工具调用稳定性）

模型

综合得分
Qwopus3.5-9B-coder****100
Qwen3.5-9B

100

armand0e/Qwen3.5-9B-Agent

这个工具我直接介绍过，事件原因本次我没有本地实测

3. BugFind-15（代码找 Bug）

模型

综合得分
Qwopus3.5-9B-coder****79
MLX-Qwen3.5-9B-DeepSeek-V4-Flash

armand0e/Qwen3.5-9B-Agent

debug 能力也是同量级最强

4. SWE-bench Verified（仓库级代码任务）

这个测试比较有意思，直接跟大模型比：

模型

得分

Claude 4.5 Opus

80.9%

Qwen3.5-27B

75.0%

Qwen3.6-35B-A3B

73.4%
Qwopus3.5-9B-coder****53.89%
google/gemma-4-31B-it

52.0%

google/gemma-4-26B-A4B

45-48%

9B 模型拿到 53.89%，比 Google 的 31B Gemma-4 还高，比 26B 的 Gemma-4 MoE 也高不少。当然跟 Claude Opus 的 80.9% 还有明显差距，但考虑到参数量差了不知道多少倍，这个成绩相当可以了

下面这张图是实际的能力测试报告截图：

Qwopus v3.5 能力测试报告：覆盖推理、编程、工具调用等多个维度

最炸裂的：Tool Calling 打平 Claude Opus

社区用户做了一个包含 31 个工具的对抗性工具选择测试，结果如下：

模型

工具召回

对抗性工具选择
*Qwopus3.5-9B-coder***100%****27/28 (96%)Claude Opus 4.6100%**27/28 (96%)
Qwen3.5-9B

100%

26/28 (93%)

一个 9B 的社区微调模型，在包含语义重叠和诱饵工具的对抗测试中，和 Claude Opus 4.6 完全打平

这说明什么？说明在特定任务上，精心微调的小模型完全可以媲美顶级商业模型。不是什么任务都需要上百亿参数的大家伙

怎么跑起来

用 LM Studio 的话，直接搜索下载就能用

用 llama cpp 的话，如果需要超过 32K 的上下文，记得开启 YaRN/RoPE 缩放：

`./llama-server \
  -m model.gguf \
  --ctx-size 131072 \
  --rope-scaling yarn \
  --rope-scale 4 \
  --yarn-orig-ctx 32768`

另外模型支持视觉和 Tool Calling，启用视觉能力需要把 GGUF 仓库里的 mmproj.gguf 文件放到模型文件同目录下

总结

优点：

Tool Calling 能力炸裂，打平 Claude Opus 4.6
Agent 任务综合得分远超同级别模型
MTP 版本带来 35% 吞吐提升
16GB 内存就能跑，真正的本地可用
训练方法论值得学习（Trace Inversion + Agent Traces + 三阶段课程学习）

缺点/局限：

这是一个垂直微调模型，通用能力可能有所退化
没有经过全面的通用领域评估
SWE-bench 跟顶级模型还有差距（53% vs 81%）
MTP 版在短文本 Edge 任务上不够稳定
作者明确说这是实验性社区版本，仅供研究探索

本文转载自微信公众号，如有侵权请联系删除。