Colibri：25GB内存跑744B GLM-5.2——纯C零依赖的极致工程奇迹

📝

Colibri（蜂鸟）用纯C语言、零依赖，在仅25GB内存的消费级电脑上运行7440亿参数GLM-5.2 MoE模型——专家参数从磁盘流式加载，22天斩获18000+ Star，Apache-2.0开源。

Colibri（蜂鸟）——小引擎，大模型。用纯 C 语言、零外部依赖，在仅 25GB 内存的消费级电脑上运行 7440 亿参数的 GLM-5.2 MoE 模型，22 天狂揽 18,000+ Star。

GitHub 数据验证

指标	数据
⭐ Stars	18,186
🍴 Forks	1,751
📝 语言	C
📜 协议	Apache-2.0
📅 创建时间	2026-07-01（仅 22 天）
🔗 仓库	https://github.com/JustVugg/colibri

核心技术思路

利用 MoE 模型每个 token 仅激活约 400 亿参数的稀疏特性：

内存分层策略

层级	内容	大小	策略
常驻内存	稠密部分（注意力、共享专家、嵌入层，约 170 亿参数）	~9.9GB	int4 量化常驻
磁盘流式	21,504 个路由专家（75 层 × 256 专家 + MTP 头）	~370GB	按需加载

关键优化

• 纯 C 实现：零依赖，编译即用
• int4 量化：稠密部分和专家均 4-bit 量化
• LRU 专家缓存：每层缓存热专家，减少磁盘 IO
• OS 页缓存利用：操作系统自动缓存热数据，充当「免费 L2 缓存」
• 磁盘流式加载：每个专家约 19MB，按需从磁盘读取

技术架构

┌─────────────────────────────────────┐
│  常驻内存 (~9.9GB int4)              │
│  注意力层 + 共享专家 + 嵌入层        │
│  (~170 亿参数)                      │
├─────────────────────────────────────┤
│  LRU 专家缓存                        │
│  ┌─────┬─────┬─────┬─────┐         │
│  │ E12 │ E45 │ E89 │ E2  │  ...    │
│  └─────┴─────┴─────┴─────┘         │
├─────────────────────────────────────┤
│  磁盘 (~370GB int4)                 │
│  21,504 个路由专家按需流式加载       │
│  OS 页缓存充当免费 L2               │
└─────────────────────────────────────┘

意味着什么？

1. 千亿模型本地化：744B MoE 不再需要 8×A100，一台 32GB 内存的笔记本就能跑
2. 纯 C 的极简主义：无框架依赖、无 Python 运行时开销，编译产物可能是几百 KB
3. 本地推理民主化：把 frontier 模型拉到边缘设备，隐私 + 离线 + 零 API 费用
4. 工程教育价值：源码是学习 MoE 推理、量化、内存管理的绝佳教材

适用场景与局限

✅ 适合	❌ 不适合
离线/隐私敏感场景	低延迟实时交互（磁盘 IO 瓶颈）
本地实验和调优	生产级高并发服务
学习 MoE 推理底层	需要 CUDA 极致性能
消费级硬件尝鲜 744B	训练/微调

我的判断

Colibri 是继 llama.cpp、MLX 之后本地推理领域的又一个标志性项目。「蚂蚁吞大象」的工程思路——利用 MoE 稀疏性 + 内存分层——比 llama.cpp 的纯量化更进一步。22 天 18K Star 说明社区对「消费级硬件跑千亿模型」有极其强烈的需求。

如果后续能加入 CUDA/Metal 后端加速注意力计算，同时保持 C 语言的极简性，Colibri 可能成为本地推理的标配工具之一。

来源：小红书「王鹏LLM」笔记 / GitHub: JustVugg/colibri