📝

octopus 是面向个人和小团队的 LLM API 聚合与负载均衡服务：多渠道聚合、多 Key 轮询、协议互转、成本统计。不是聊天工具，是模型网关——像 Nginx 代理大模型 API，业务系统只对接它一个入口。

octopus：Star 2k 开源 LLM API 聚合网关，个人也能搭模型网关

来源：微信公众号「X」《Star 2k，开源 LLM API 聚合服务：个人也能搭模型网关》

现在接大模型 API，最烦的不是写调用代码，而是供应商太多、Key 太多、价格太乱、格式还不统一。今天用 OpenAI，明天换 DeepSeek，后天又接 Anthropic。每加一家，业务代码就多一堆适配逻辑。

国内做 AI 应用尤其痛——模型供应商比国外还多还碎：OpenAI 走代理 / Claude 经常被风控 / 国产的 DeepSeek、智谱 GLM、通义千问、Kimi、豆包、MiniMax 一个比一个能更新。一个项目同时接 3-5 家是常态。

octopus 卡的就是国内这种「多模型并存」的混乱状态。

GitHub 数据验证（2026-08-16 实测快照）

指标	实测值
Stars	2,369（与标题「Star 2k」一致）
Forks	375
语言	TypeScript
License	AGPL-3.0
创建	2025-11-18
最近更新	2026-08-16（当天活跃）

octopus 不是聊天工具，而是模型网关

很多人看到 LLM 项目第一反应是「能不能聊天」。octopus 不是这个方向。

它更像 Nginx，只不过代理的不是 HTTP 服务，而是各种大模型 API。 你的业务系统只对接 octopus，再由 octopus 去分发到不同供应商。

能力	解决的问题
多渠道聚合	OpenAI、Anthropic、各种兼容服务统一管理
多 Key 支持	单渠道多个 Key 轮询或备用
智能优选	多端点里选择延迟更低的节点
负载均衡	请求分散到多个渠道，减少单点压力
协议互转	OpenAI Chat、Responses、Anthropic 格式互转
费用统计	Token、请求量、模型成本能看清

一句话：你把模型供应商从业务代码里抽出来，后面换模型、换渠道、换价格策略，都不用到处改代码。

核心功能：个人项目也该有成本账本

octopus 最值得看的不是「支持很多模型」，而是它把模型使用的运营问题补上了。

多 Key 支持：很多人手里不止一个 API Key——不同渠道、不同账号、备用额度。没有统一网关时，这些 Key 很快就变成配置地狱。
价格同步和模型同步：模型更新太快，价格和可用模型列表靠手填迟早出错。octopus 把这部分自动化——至少不会让你在月底账单出来时才发现某个模型贵得离谱。
数据统计：谁在用、用了多少、花了多少钱。个人项目也一样，AI 成本不是玄学，要能算账。

快速开始：Docker 和二进制都能跑

# Docker（最省事）
docker run -d --name octopus -v /path/to/data:/app/data -p 8080:8080 bestrui/octopus

# 或 Docker Compose
wget https://raw.githubusercontent.com/bestruirui/octopus/refs/heads/dev/docker-compose.yml
docker compose up -d

# 或 Releases 二进制
./octopus start

适合哪些人用

用户	使用价值
独立开发者	一个入口管理所有模型 Key
小团队	控制不同项目、不同成员的模型成本
AI 应用开发者	业务代码不直接绑定供应商
想做容灾的人	某个渠道挂了可以切备用渠道

如果你只是偶尔调用一次模型，直接写 SDK 就行。octopus 的价值在「持续调用、多个渠道、需要统计和控制」。

💡 补充点评

生态定位：octopus 属于「LLM 网关」这个快速拥挤的赛道，但和已有的几个方向错位竞争：

项目	定位差异
[[llmproxy]]	Go 写的私有网关（替换 Nginx）
[[octafuse-gateway]]	预算计费/审计/路由策略下沉
[[freellmapi]]	免费 token 聚合（16 家厂商）
[[cliproxyapi]]	CLI 订阅账号代理转换
octopus	个人/小团队多 Key 轮询 + 成本账本

最后说句实话：AI 应用早期最容易犯的错，是把模型供应商写死在业务里。前期看起来快，后期换模型、控成本、查账单时就开始还债。octopus 这类网关不炫，但很实用——它把模型接入从「到处散落的 API Key」变成「一个可以治理的入口」。对个人项目来说可能有点超前，但对认真跑 AI 应用的人来说，这一步迟早要补。

📌 原文：微信公众号 · X | GitHub: bestruirui/octopus | 提取于 2026-08-16