Ornith-1.0-35B 本地实测：开源 Agentic Coding 模型的新玩家

原文链接：https://mp.weixin.qq.com/s/aWH6qiSMy9gyipOyvetnnw

什么是 Ornith？

Ornith 是一套「Self-improving family of open-source models for agentic coding」——专为 Agent 编程场景设计、具备自进化能力的开源模型家族。目前提供两个规模：

版本	参数量	定位
Ornith-9B	9B	轻量级，适合消费级硬件
Ornith-1.0-35B	35B	旗舰级，性能上限更高

在 Ollama 上线不到一天即获得 3,721 次下载，社区热度可见一斑。

本地部署指南

通过 Ollama（推荐）

# 一键拉取
ollama pull ornith:35b

# 直接运行
ollama run ornith:35b

通过 llama.cpp（GGUF 量化版）

HuggingFace 上已有社区提供的 GGUF 量化版本（如 MaziyarPanahi/Ornith-1.0-35B-GGUF），支持：

量化级别	模型大小	最低显存
Q3_K_M	~16GB	16GB VRAM
Q4_K_M	~20GB	20GB VRAM
Q5_K_M	~24GB	24GB VRAM
Q8_0	~37GB	40GB VRAM

对于 Mac Studio / MacBook Pro（M2 Ultra / M3 Max） 用户，Q4_K_M 可以在统一内存上流畅运行，速度约 8-15 tok/s。

硬件要求总结

• 最低配置：16GB 统一内存 / 显存（Q3_K_M）
• 推荐配置：24GB 统一内存 / 显存（Q4_K_M 或 Q5_K_M）
• 最佳配置：48GB+ 统一内存 / 显存（Q8_0 或 BF16 全精度）

实测体验

编码能力

作为一款定位 Agentic Coding 的模型，Ornith-1.0-35B 在以下场景表现突出：

• 代码生成：Python/TypeScript/Go 代码生成质量接近同级别的专用编程模型
• 代码审查：能准确识别逻辑错误和安全隐患
• 项目理解：对多文件项目的上下文理解能力出色
• Agent 工作流：自主多步操作（读文件→分析→修改→验证）的连贯性较好

响应速度（Mac M2 Ultra 实测）

量化级别	推理速度	首 token 延迟
Q4_K_M	~12 tok/s	~2s
Q5_K_M	~10 tok/s	~2.5s
Q8_0	~6 tok/s	~3s

局限性

• 中文能力：基础对话流畅，但复杂中文推理和中文代码注释质量明显弱于英文
• 长上下文：32K 上下文窗口够用但不算长，超长代码文件可能截断
• 自我修正：Agent 回路的「执行→检查→修正」闭环偶尔会陷入重复修改的死循环

生态与变体

Ornith 社区已有多个衍生版本：

• AEON Ultimate Uncensored — 去除审查的版本，0% 拒绝率，保持编码能力无损，支持 BF16 + FP8 用于 vLLM
• GGUF 量化版 — 从 Q3 到 Q8 全覆盖，适配不同硬件
• NVFP4 调优版 — 针对 NVIDIA Atlas GB10 的 FP4 推理加速

与同类模型对比

维度	Ornith-1.0-35B	Qwen 2.5 Coder 32B	DeepSeek Coder V2
参数量	35B	32B	16B (MoE 236B total)
定位	Agentic Coding	通用编程	通用编程
本地运行	✅ GGUF	✅ GGUF	✅ GGUF
自进化	✅	❌	❌
中文	⚠️ 一般	✅ 优秀	✅ 优秀
Ollama	✅	✅	✅

总结

Ornith-1.0-35B 是一个值得关注的新玩家。它的差异化在于：

1. 专为 Agentic Coding 设计 — 不是通用 LLM 的编程副产物，而是原生面向 Agent 工作流
2. 自进化能力 — 这是它与 Qwen Coder、DeepSeek Coder 等模型最本质的区别
3. 开源友好 — 社区已提供完整的 GGUF、vLLM、Ollama 部署方案
4. 本地可跑 — 35B 级别在 Q4_K_M 量化下仅需 20GB 显存

如果你在做 AI 编程 Agent 的本地化部署，Ornith 值得一试。尤其是结合 Claude Code / Codex 等工具作为本地推理后端，性价比相当出色。

💬 本文评论区已开启，但暂无读者留言。

本文转载自微信公众号，如有侵权请联系删除。